• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:

    公开号:WO1990002381A1
    申请号:PCT/JP1989/000192
    申请日:1989-02-23
    公开日:1990-03-08
    发明作者:Hideki Yoshizawa；Hiroki Iciki；Hideki Kato；Yoshihide Sugiura；Kazuo Asakawa；Hiroyuki Tsuzuki；Hideichi Endo；Takashi Kawasaki；Toshiharu Matsuda；Chikara Tsuchiya；Katsuya Ishikawa；Hiromu Iwamoto
    申请人:Fujitsu Limited；
    IPC主号:G06N3-00
    专利说明:
    [0001] 明 細 書
    [0002] 発明の名称
    [0003] ニューロ コ ン ピュータ
    [0004] 技 術 分 野
    [0005] 本'発明は、 ニューロコ ン ピュータに関し、 特に、 アナログニューロ ンチップをアナ口グ時分割伝送路 によ り結合する こ とで実現されるニューロ コ ンピュ ータに関する ものである。
    [0006] 背 景 技 術
    [0007] 10 従来の逐次処理コ ンピュータ （ノ イ マン型コ ン ビ ユータ） では、 使用方法や環境の変化に応じてコ ン ビュータのデータ処理機能を調節することが難しい ので、 適応性を有するデータ処理方式として、 新た に階層ネ ッ ト ワークによる並列分散処理方式が提唱
    [0008] 15 されてきている。 特に、 ノ ッ クプロパゲーシヨ ン法 と呼ばれる処理方式 (D.E.Rumelhart.G.E.Hinton, and R.J.Will iams, し earning Internal Represen tations by Error Propagation, "PARALLEL DISTRIB UTED PROCESSING, Vol.1, PP.318-364, The MIT Press:
    [0009] 20 1986) が、 その実用性の高さから注目されている。
    [0010] ノ ッ ク ' プロパゲーシ ョ ン法では、 基本ュニッ ト と呼ぶ一種のノ ー ドと重みを持つ内都結合とから階 層ネ ッ ト'ワークを構成している。 第 1図に、 基本ュ ニ ッ ト 1 の原理構成を示す。 この基本ュニ ッ ト 1 は、
    [0011] 25 連続ニューロ ンモデルに類似した処理を実行する。 1 すなわち、 これは多入力一出力系となっており、 複 数の入力 { Y h } に対しそれぞれの内部結合の重み { W i κ } を乗じる乗算処理部 2 と、 それらの全乗 箕結果を加算する累箕処理部 3.と、 この加箕値に非
    [0012] 5 線形の閻値処理を施して 1 つの最終出力 Χ ί を出力 する閾値処理部 4 とを備える。 第 2図は階層型二 ユーラルネ ッ トワークの構成概念図である。 構成の 多数の基本ュニッ ト { 1 一 h , 1 — i , 1 一 ： j } が、 第 2図に示すように階層的に接続されることで、 入
    [0013] 10 力信号パターンに対応するところの出力信号バター ンが出力されることになる。
    [0014] 学習時には、 出力パターンと目的とする教師バタ ーンの差が小さ く なるように、 各階層間の結合の重 み { W i h } が決定される。 このような学習は、 複
    [0015] 15 数の入力パターンに対して行われ、 多重化される。
    [0016] また、 連想時には、 入力パターンが学習時に入力し た完全情報と少し異なる不完全な情報であっても、 学習時の教師パターンに近い出力パターンが得られ ることにより、 連想処理が可能となる。
    [0017] 20 このような構成のニューロコ ンピュータを現実の ものとしてい く ためにば、 階層ネッ トワークを構成 することになる基本ュニッ ト 1間のデータの授受を. できる跟'り少ない配線本数で実現してい く必要があ る。 このこ とは、 複雑なデータ処理を実現してい く
    [0018] 25 ために、 階層ネ ッ トワーク の構成をより多層化した 1 り、 基本ユニッ トの数を増してい く必要があるとい う背景のもとで、 どう しても解決していかな く ては ならない課題の 1 つなのである。
    [0019] しかしながら、 先に説明したデータ転送方式では
    [0020] 5 第 2図に示す階層ネ ッ トワークの構成からも明らか なように、 2つの層間の配線本数が極めて多く なる ことから、 階層ネ ッ トワークをチップ化するときに. 小さ く できな く なると共に、 信頼性を高めることが できな く なるという問題点がある。 例えば、 隣接す
    [0021] 10 る 2つの層の基本ユニ ッ ト数を同じとし、 すべての 基本ュニ 'ン ト 1 が互いに接続されるという完全結合 を想定するならば、 配線本数は基本ュニッ ト数の 2 乗に比例して増加することになる。 このように、 配 線本数が急激に増加してしまう。
    [0022] 15
    [0023] 発 明 の 開 示
    [0024] 本発明はかかる事情に鑑みてなされたものであつ て、 少ない配線本数で階層ネ ッ ト ワークを構成する 基本ュニッ ト間でのデータの授受を実現できるよう 20 にすることで、 ネ ッ トワーク構成データ処理装置を 実現できるようにすることを目的とするものである c 第 3図は本発明のニューロコ ンピュータのシステ ムブロ ッ ク図である。
    [0025] ニューラ ルネ ッ トワーク 1 8 は各層の入力側にあ 25 る共通の第 1 のアナログバスからアナログ信号を時 1 分割で入力しデジタル重みデータを用いて積和演算 を実行してアナログ信号をその層の出力側にある共 通の第 2 のアナログバスに出力するアナログニュ一 口プロセ ッサ （以下 A N P と記す） の集合を層とす
    [0026] 5 る少な く とも 1層以上のネッ トワークである。
    [0027] 制御パターンメ モリ 1 2 は前記ニュ一ラルネ ッ ト ワークの制御信号のパターンを格納する。 重みメモ リ 1 4 ば重みデータを格納する。 シーケ ンサ 1 3 は 該制御パターンメ モリ 1 2及び重みメ モリ 1 4 のァ
    [0028] 10 ドレスを発生する。 デシタル制御手段 1 5 は M Pひ と主記憶を有する汎用の処理装置であってネッ トヮ ーク 1 8 と 0 / 及び八/ 0コ ンバータ 1 6 , 1 7 を介して接繞され、 前記ニューラルネ ッ トワーク、 制御パターンメ モリ、 シーケ ンサ、 重みメ モ リ の全
    [0029] 15 体を制御する。 本発明はこのようにしてニューロコ ンピュータ システムを構成する。
    [0030] アナログ入力信号を時分割でアナログニューロチ ップに入力し、 この信号と重みデータとの積を取り - この積信号をそれぞれ加算して得られる積和信号を
    [0031] 20 非線形閬数面路を通して出力することによりアナ口 グニューロチップを構成する。 このアナログニュー ロチップを複数個用いて階層型あるいは帰還型の二 ユーラル'ネ ッ トワーク 1 8を構成し、 この二ユーラ ルネ ッ ト ワーク 1 8 にシーケンサ 1 3 によってァク
    [0032] 25 セスすべきア ドレスが与えられた制御パターンメ モ 1 リ 1 2から出力される制御信号を加える。 またニュ 一ラルネ 、ン トワーク 1 8 には学習等によって得られ る重みデータが重みメ モ リ 1 4から供給される。 そ してニューラルネ ッ ト ワーク 1 8、 制御パターンメ
    [0033] 5 モ リ 1 2、 シーケ ンサ 1 3、 重みメ モ リ 1 4 はディ ジタル制御手段 1 5 のディ ジタル信号によつて制御 され、 且つ管理される。 また、 ディ ジタル制御手段 1 5内の M P Uでは、 特に、 学習アルゴリ ズムが実 行され、 かつ出力信号のチヱ ックなどが行われる。
    [0034] 10 のよ う にして、 時分割アナログ入力信号と時分割ァ ナログ出力信号を用いることを特徴とするアナログ ニューロコ ンビュータ システムが実現される。
    [0035] 図面の簡単な説明
    [0036] 第 1図は、 ニューロ ンモデルの基本ュニ ッ 卜の原
    [0037] 15 理構成図、
    [0038] 第 2図は、 階層型二ユーラルネ ッ ト ワーク の構成 概念図、 - 第 3図は、 本発明のニューロコ ンピュータの原理 ブロ ック図、
    [0039] 20 第 4 A図は、 本発明のアナログニューロプロセ ッ サ A N Pのチップから構成されたパッケージの概略 図、
    [0040] 第 4 B'図は、 本発明の A N Pの内部構成図、 第 5図は、 本発明のアナ πグニューロプロセ ッサ 25 の原理構成図、— 第 6図は、 本発明の基本ュニッ トのー実施例のブ π ッ ク図、
    [0041] 第 7図は、 本発明の基本ュニッ 卜の実施例の具体 的回路図、
    [0042] 5 第 8図は、 本発明の基本ュニッ トの他の実施例の 具体的面路図、
    [0043] 第 9図は、 本発明の基本ュニッ トに用いられる積 分器の動作タイ ミ ングを説明する図、
    [0044] 第 1 O A図は、 階層型ニューラルネ ッ トワーク の
    [0045] 10 概念図、
    [0046] 第 1 0 B図は、 本発明による階層型ニューラルネ ッ ト ワーク の概念図、
    [0047] 第 1 1図は本発明の二ユーロコ ンピュータにより 階層型ネッ トワークを構成した一実施例のプロ ック
    [0048] 15 図、
    [0049] 第 1 2図は、 第 1 1図に示した実施例の具体的ブ π ッ ク図、
    [0050] 第 1 3図は、 主制御回路のシステム構成図、 第 1 4 A、 第 1 4 B図は、 第 1 1図及び第 1 2図
    [0051] 20 に示した実施例の信号処理のタィ ミ ング図、
    [0052] 第 1 5図は、 同じ く第 1 1図及び第 1 2図に示し た実施例の信号処理のタィ ミ ング図、
    [0053] 1 6 ·図は、 本発明のニューロ コ ン ピュータを 1 層型ネ ッ トワーク で実現した一実施例の具体的回路.
    [0054] 25 第 1 7 A図、 第 1 Ί B図は、 第 1 6図に示した信 号処理のタィ ミ ング図、
    [0055] 第 1 8図は、 ディ ジタル重みデータの読み込みタ ィ ミ ングを示す図、
    [0056] 第 1 9 A図は、 マスタ コ ン ト ロールブロ ッ ク の具 体的回路図、
    [0057] 第 1 9 B図は、 制御パタ ー ンメ モ リ及びマイ ク 口 コ ー ドメ モ リ の構造を示す図、
    [0058] 第 2 O A図は、 重みデータメ モ リ へのデータ充塡 方法を示す図、
    [0059] 第 2 0 B図は、 重みデータメ モ リ の具体的構成図. 第 2 0 C図及び第 2 0 D図は学習アルゴ リ ズムの フ ローチ ヤ一ト、
    [0060] 第 2 1図は、 ディ ジー回路の具体的回路図、 第 2 2図は、 マ ッ ク スバリ ューノ ー ド回路の具体 的面路図、
    [0061] 第 2 3図は、 シグモ イ ド関数発生回路図、
    [0062] 第 2 4図は、 シーケ ンス ジェネ レータ の具体的回 路図、
    [0063] 第 2 5図は、 位相制御回路の具体的回路図、 第 2 6図は、 シフ ト レジスタ の具体的画路図、 第 2 7 A図は、 帰還型ネ ッ トワークを説明する概 念図、
    [0064] 第 2 7 ·Β図は、 本発明のニューロ コ ン ピュータに より帰還型ネ ッ トワークを構成した場合の説明図、 第 2 8図は、 帰還型ネ ッ ト ワークの一実施例のブ 1 ロ ック図、
    [0065] 第 2 9 A、 及び ·2 9 B図は、 第 2 8図に示した実 施例の信号処理を示すタィ ミ ング図、
    [0066] 第 3 0図は、 本発明によるニューロ コ ンピュータ 5 によ り 、 第 1 の帰還型ネ ッ トワークを構成した実施 例の具体的回路図、
    [0067] 第 3 1 A及び第 3 1 B図は、 第 3 0図に示した実 施例の信号処理を示すタイ ミ ング図、
    [0068] 第 3 2図は、 本発明のニューロコ ン ピュータによ 10 り、 第 2 の帰還型ネ 'ン ト ワークを構成した実施例の 具体的ブロ ック図、
    [0069] 第 3 3 A図及び第 3 3 B図は、 第 3 2図に示した 実施例の信号処理を示すタィ ミ ング図、
    [0070] 第 3 4図は、 本発明のニューロ コ ンピュータによ 15 り、 階層型と帰還型とのネッ トワーク とを組み合わ せたシステムを構成した実施例のブロ ック図、
    [0071] 第 3 5図は、 本発明のニューロコ ン ピュ一タによ り階層型と帰還型とを組み合わせた他の実施例のブ ロ ック図、
    [0072] 20 第 3 6 A図、 及び第 3 6 B図は、 第 3 5図に示し た実施例の信号処理を示すタィ ミ ング図、
    [0073] 第 3 7図は、 本発明のさらに他の実施例のブロ ツ ク図、 '
    [0074] 第 3 8図は、 本発明の利用例を示すブロ ック図、 25 第 3 9図は、 本発明の他の利用例を示すブ α ック 図である。
    [0075] 発明の基本構成
    [0076] 第 4 A図は本発明のニューロチップから構成され るアナログニューロプロセ ッ サ （ A N P ) 1 1 のデ ュアルイ ンライ ンパッケージの概略図である。 これ
    [0077] 5
    [0078] は、 M B 4 4 4 2 と呼ばれニューロ ンモデルの処理 を実行する。 内部の閾値処理部はシグモイ ド閩数で 置換したモデルとなっている。 アナログニューロチ ップは A N P と呼ばれ、 アナログデータを入出力す
    [0079] 10 るデバイ スである。 第 4 B図は本発明の A N Pの内 部構成図である。 第 4 B図に示すように A N P 1 1 はアナログバス B 1 とアナログバス B 2 の間に接続 される。 A N P 1 1 は入力するアナログ信号と重み を掛けるアナログ乗箕部 2 2、 積の和を求めるアナ
    [0080] 15 ログ加算部 2 3、 和を保持するサ ンプル/ホール ド 部 2 4、 シグモイ ド関数の値を出力する非線形関数 部 2 5 より なる。 第 4 A図の A N P 1 1 の各端子を 説明する。 A N P 1 1 の内部はアナログ回路部とデ イ ジタル回路部から構成されている。 +— 6 ボル ト
    [0081] 20 の端子は、 アナログ面路部のオペア ンプに供給され る電源端子である。 D in及び D。ut はアナログ入力 信号及び出力信号の端子である。 A G N Dはアナ口 グ回路部の接地端子である。 R t +及び R t —端子 はアナログ回路部にある積分回路の外付抵抗 Rの端 子であり、 C t 卞 、 C t 一端子は同じ く積分回路の
    [0082] 25 外付キ ャパシタ Cの端子である。 D G N Dはディ ジ タル回路部のグラ ン ド端子である。 + 5 ボルトはデ イ ジタル回路部の電源端子である。 R S Tば積分面 路のキャパシタの電荷等のリ セ ッ トを行う リ セ ッ ト 信号端子である。 C S I 及び C S 0はデイ ジ一チェ ーン用制御信号の入出力端子であり、 O Cはオフセ ッ トキ ャ ンセル制御信号用端子、 S ZH端子は、 サ ンプル/ホールド用制御信号端子、 S Y N Cは各層 の処理に対する同期信号端子、 D C L Kはアナログ
    [0083] 10 入力信号の処理を行うための基本ク ロ ック信号端子、 W C L Kはディ ジタル重みデータを取り込むための ク ロ ック端子、 WDはビッ ト シリ アルで入力するデ Λ ジタル重みデータ用の端子である。
    [0084] 第 5図は、 本発明のアナログニューロ プロ セ ッ サ
    [0085] 15 ( AN P ) の原理構成図である。
    [0086] 別々の A N P (図示せず） から時分割的に送られ てく るアナログ入力信号をアナログバス B 1 から A N P 1 1内のアナコグ乗箕部 2 2に入力し、 このァ ナ口グ乗算部 2 2ではシフ ト レジスタ 2 7 を介して
    [0087] 20 ビッ トシリ アルに入力されその後直並列変換された ディ ジタル重みデータ W Dと掛け算して、 アナログ 入力信号とディ ジタル重みデータとの積を示す積信 号を得る。 次の、 アナログ加算部 2 3 は、 外付けの 抵抗 Rとキ ャパシタ Cからなる ミ ラー積分画路であ つて、 アナログバス B 1 に接続された前段の複数の
    [0088] 25 A N P ( A N Pの存在する場所をノ ー ドと呼ぶ） か ら時分割で送られるァナ口グ入力信号とダミーノ ー ドから送られる閾値用のアナログ入力信号とからそ れぞれ得られる積信号の和を求めるものである。 次 に、 サンプル/ホール ド部 2 4で積信号を所望時間 待たせるためにホール ドした後に、 さ らにそのサン プル/ホールドされた出力を非線形関数部 2 5 を介 して変換する。 出力制御部 2 6では、 シーケ ンスジ ュネレータ 2 8 の制御を受けて所定時間遅延させた 後に、 アナログ出力信号 D。ut をアナログバス B 2 へ出力する。 なお、 シーケ ンスジェネ レータ 2 8 は 内部に供給される制御信号も生成する。 そして、 位 栢制御部 2 9 では、 おもに A N P内のアナログ面路 部とディ ジタル回路部を接続する各スィ ツ チのオ ン かオフが確実に行われるように、 制御信号の位相を 制御するもので、 特に、 第 1 のスィ ツチがオ ンのと き第 2 のスィ ツチをオフにする場合それ等のスィ ッ チが同時にオンする場合がないように制御信号の位 相を制御する。
    [0089] なお、 シーケ ンスジェネ レータ 2 8 は、 リ セ ッ ト 信号 R S T、 D C L K、 W C L K、 S Y N C. S / H、 O C、 C S I を後述するマスタコ ン ト ロールブ ロ ックか'ら入力するとともに C S Oを出力し、 A N Pの内部の制御信号を生成する。
    [0090] ニューラルネ ッ ト ワークでは、 同時処理により高 1 速演算を行う必要がある。 本発明では時分割データ を使っているが、 定常状態では、 各 A N Pがパイプ ライ ン的に同時処理を行う。 理想的なニューラルネ ッ トワークでは、 ニューロ ンは他のそれぞれのニュ
    [0091] 5 —ロ ンに相互結合した結線が必要であるが、 このま まシステムを実現しょう とすると、 配線数が多く な る。 そこで、 本発明では時分割データを扱うので、 各 A N P内の積和の処理時間が伸びるが、 それを縦 方向に、 すなわち同層方向にチップを並列に並べる
    [0092] 10 ことで、 層内のニュー口チップを構成する A N Pの 同時処理により、 その処理時間を改善する。 また、 各層ではパイ ブライ ン処理が可能で、 このことでも 処理時間が小さ く なる。 アナログバスに接続した例 えば 3偭の各ニューロチップには、 入力が入って く
    [0093] 15 ると、 それは 3個とも同時に入り 3個とも並列に、 そのアナログ電圧に対して、 各 A N Pが重みとの積 を生成し、 それを積分器のキャパシタに電荷として 保持する。 そして、 次の時間区域で、 同じアナログ バスのアナログ入力に対して、 各 A N Pは重みとの
    [0094] 20 積を 成し積分器のキャパシタ内に前の時間区域で 決まった積に加え込むことになる。 前段のすべての A N Pからのアナログ入力信号に対する重みとの積 に対する和が生成された後、 その和はサンプル Zホ 一ルドされる。 その後、 シグモイ ド関数を介して出 25 力されるが、 これは、 C S I制御信号入力時に出力 される。 そして、 出力完了時に C S I が立ち下がり、 その後一定時間遅延後に C S 0を立ち上げて、 出力 バスの使用権を同一層内の隣接ニューロチップから なる A N Pに与える。
    [0095] 5 最 適 実 施 例
    [0096] 以下、 実施例に従って本発明を詳細に説明する。 第 6図はニューロチップである基本ュニ ッ トの第 1 の実施例構成図である。 同図の乗箕部 3 2、 加算部 3 3、 閾値処理部 3 4 は連続ニューロ ンモデルの実
    [0097] 10 行部であるが、 この実施例では出力保持部 3 5が存 在する。 具体的には、 基本ュニ ッ ト 3 1 に接続され る複数の入力を Y i 、 この各接続に対応して設定さ れる重みを W i とするならば、 乗箕部 3 2 は、
    [0098] Y i · W i
    [0099] 15 を算出し、 加算部 3 3 は、
    [0100] X = ∑ Y i · W i —
    [0101] を算出する。 但し、 6 は閻値である。 閾値部 3 4 は 最終出力を Yとするならば、
    [0102] Y = l / ( l + e x P ( - X ) ) · · · · (1)式
    [0103] 20 を算出することになる。
    [0104] ダミーノ ー ドから入力される " + 1 " という値に "一 Θ " という重みをかけて加算部 3 3 で 「 X— j の結果が出力される。 従って閾値部 3 4 では S字曲 線による変換だけが行われている。
    [0105] 25 乗算部 3 2 は、 乗算型 D /Aコ ンバータ 3 2 aで 1 構成され、 前段層の基本ュニッ ト 3 1から、 あるい は後述するダミーノー ドの面路からのアナ口グ信号 (入力スィ ツチ部 3 7 を介して入力される） の入力 と、 その入力に対して乗箕されるべきディ ジタル信
    [0106] 5 号の重み情報 （後述する重み保持部 3 8を介して入 力される） との乗箕を行って、 得られた乗箕結果を アナログ信号で出力するよう処理するもの、 加箕部
    [0107] 3 3 は、 積分器で構成されるアナログ加算器 3 3 a とアナ πグ加箕器 3 3 a の加算結果を保持する保持
    [0108] 10 面路 3 3 b とにより構成される。 乗算型 D / Aコ ン バータ 3 2 a は、 D Z Aコ ンバータの基準電圧端子 にアナログ入力信号を入力し、 各ディ ジタル入力端 子に重みの各ビッ トをディ ジタル入力信号として入 力する ものであり、 結果として、 そのアナログ入力
    [0109] 15 信号と重みとの積を生成する。 アナログ加算器 3 3 a は、 乗箕型 D Z Aコ ンバータ 3 2 a の出力と、 前 面に求められて保持画路 3 3 bに保持されている加 算値とを加箕して新たな加箕値を求めるもの、 保持 画路 3 3 b は、 アナ口グ加箕器 3 3 aが求めた加箕
    [0110] 20 値をホールドするとともに、 そのホールド値を前画 の加箕値としてアナログ加算器 3 3 a にフ ィードバ ックさせるものである。 これらの加算処理は制御画 路 3 9 よ'り出力される加箕制御信号に同期して実行 される。 閾値部 3 4 は、 アナログの関数発生回路で
    [0111] 25 ある非線形閡数発生面路 3 4 aで構成され、 入力に 1 対してシグモイ ド関数等の非線形信号を出力するも のである。 乗算結果の累箕が閾値 （— e ) の加箕を 舍めて終了したときに、 保持回路 3 3 b にホール ド されている加算値 Xに対し閾値 （一 6 ) を加えて（1)
    [0112] 5 式のシグモイ ド関数の演算処理を施し、 アナログ出 力値 Yを得るもの、 出力保持部 3 5 は、 サンプルホ 一ル ド回路で構成され、 後段層の基本ュニ ッ ト 3 1 への出力となる非線形関数発生回路 3 4 a のアナ口 グ信号の出力値 Yをホール ドするものである。
    [0113] 10 また、 3 6 は出カスィ 'ンチ部であり、 制御回路 3
    [0114] 9 よりの出力制御信号を受けて一定時間 0 Nするこ とで、 出力保持部 3 5が保持するとこ ろの最終出力 をアナログバス B 2上に出力するよう処理するもの、 3 7 は入カスィ ッチ部であり、 制御回路 3 9 よりの
    [0115] 15 入力制御信号を受けて前段層の基本ュニッ ト 3 1 力、 ら最終出力からのアナログ出力が送られて く るとき に 0 Nするこ とで入力の受付を行う。 3 8 は重み保 持部であり、 ノ、'ラ レルァゥ ト シフ ト レジスタ等によ り構成され、 重みメ モリから送られて く るビツ ト シ
    [0116] 20 リ アルの重み信号がバッ ファ 3 8 a のゲー トがォ一 プン （制御画路 3 9 による重み入力制御信号がォン） された時に、 この重み信号を乗算部 3 2が必要とす るビッ ドパラ レルの重みと して保持する ものである。 ビッ トバラ レルの重みは乗算制御信号が与えられた
    [0117] 25 ときにパラ レルで乗算部に与えられる。 3 9 はディ 1 ジタル画路部の制御回路で^部からの同期信号から 内部の同期信号を生成するもので、 内部のアナログ 処理の機能の制御を実行する。
    [0118] このように構成されることで、 第 6図の信号処理 5 構成を採る基本ュニッ ト 3 1 の入出力がアナログ信 号でもって実現されることになるのである。
    [0119] なお、 乗算型 Dノ Aコ ンバータ 3 2 a は、 デイジ タル信号の重み情報をパラ レルで受け取るようにす るものでもよいし、 重み情報をシリ アルで受け取つ
    [0120] 10 てからパラ レル変換するようにするものでもよい。
    [0121] あるいは、 重み情報をアナログ信号で構成するなら ば、 乗算型 D Z Aコ ンバータ 3 2 a の代わりに、 ァ ナログ乗算器を甩いることができる。
    [0122] 第、 7図は 1個の本発明のニューロチップ （A N P )
    [0123] 15 の実施例の具体的回路図である。
    [0124] このュニ ッ トでは入力部 4 2、 乗箕部 4 3、 加算 部 4 4、 サンプル/ホールド部 4 5、 非線形関数部 4 6、 及び岀カ部 4 7から構成され、 ここでば、 出 力保持回路はなく、 サンプルノホール ド部 4 5が岀
    [0125] 20 力保持の機能も有するものとする。
    [0126] 入力部 4 2 はオフセ ッ トキヤ ンセル部 5 1 と、 1 倍のバッファ 4 9から構成されている。 1倍のバッ ファ 4 9·は電圧フォ ロアで、 オペア ンプの出力を— 端子にフ ィ ー ドバッ ク し、 +端子に入力電圧を入力
    [0127] 25 することによって構成される。 データ入力はアナ口 1 グの時分割されたパルス信号である。 0 Cはオフセ ッ トコ ン ト ロール信号であり、 これが 1 のときアナ πグスィ ツチ 6 6 がオ ンし、 1 倍のノ ッ フ ァ 4 9 に は、 0電圧が強制的に設定される。 一方、 オフセ ッ
    [0128] 5 ト コ ン ト ロール信号〇 じが、 0 のときアナログスィ ツチ 6 6 はオフされ、 他方のアナ ログスィ ツチの他 方 6 5がオンし、 データ入力が 1倍のバッファ 4 9 に入力される。 すなわち、 オフセ ッ ト コ ン ト ロール 信号 O C力 1 である場合には、 ニューロ ンュニッ ト
    [0129] 10 には 0 ボル 卜が強制的に入力されて乗算器出力まで の回路のオペアンプ出力に生じるオフセ ッ ト電圧に 対するオフセ ッ トのキャ ンセルの動作を行うように している。 アナログスィ ッチ 6 5 と 6 6 は同図では 〇 C信号の反転位相と正相位相でスィ ッ チングの制
    [0130] 15 御が行われているが、 位相制御回路によって、 同時 オ ンがないよう になつている。 以後このこ とを O C が 「位相制御された」 という言い方をすることにす る。
    [0131] 正負切換回路 5 2 は 2つの倍数器をカスケ一ド結 20 合して構成されている。 倍数器では入力抵抗 （10 K
    [0132] Ω ) とフ ィ ー ドバッ ク抵抗 （ 10 Κ Ω ) によって 10ノ 10、 すなわち 1倍の電圧の反転したものが形成され、 それを 1 '段だけを通すか、 2段を通すかによつてァ ナログ電圧の符号を決定している。 その制御信号は 25 ディ ジタル重みデータの符号ビッ ト （ S I G N ) で 1 あり、 この S I G Nビッ ト は M O Sスィ ッチ 7 0 の ゲー トに接鐃されている。 この S I G Nの制御信号 も位相制御されている。 符号ビッ トが 1 である場合 に入力部 4 2からの入力電圧は第 1段目の倍数器で
    [0133] 5 反転され、 さ らにスィ ッチ 6 7 もオンしているので 後段の倍数器も通り、 結果として正柑となる。 また 符号ビッ トが 0である場合には、 反転面路 6 8を介 して、 スィ ッチ 6 9がオ ンとなる。 この時スィ ッチ 6 7 と 7 0 はオフ しているため、 入力部 4 2からの
    [0134] 10 入力電圧はスイ ッチ 6 9を介して後段のォペアンプ
    [0135] 7 1 の一端子に入力される。 従って、 前段の抵抗 7 2 と後段のオペア ンプのフ ィ ー ドバッ クの抵抗 7 3 とによって倍数器が形成され、 1倍された形で反転 される。 すなわち、 符号ビッ トの正負によって入力
    [0136] 15 部 4 2の入力が、 正または食の電圧として形成され、 これが、 興奮性と抑制性のシナプス結合に従った電 圧となる。 正貪切換画路 5 2からの出力は乗算部 4 3の中にある D/Aコ ンバータ 5 3 の R-2R 抵抗画 路網の 7 4の点、 すなわち基準電圧端子に入力され 20 る。
    [0137] R-2R 方式の D/Aコ ンバータをまず説明する。 M S Bから L S Bまでのディ ジタル重みによって内 部のスィ'ツチはオンまたはオフをとる。 ディ ジタル 値が 1である場合に、 電流は右側のスイ ッチ 7 5を 25 通って、 オペア ンプ 7 6 の仮想、接地点 7 8に流れ込 む。 ォペア ンプ 7 6の仮想接地点 7 8は十端子と同 じ電圧になるように制御され、 これがグラ ン ドであ るから仮想的な 0ボル トである。 Dノ Aコ ンバータ 5 3において Rは 1 0 Κ Ω、 2 Rは 2 0 ΚΩである スィ ッチの状態に関わらず、 2 Rの抵抗には電流が 流れ、 ディ ジタル値の値に従ってその 2 Rに流れる 重み電流が仮想接地点 Ί 8の方に流れるかどうかが 決定される。 1番右の 2 Rに流れる電流を i とする , 右から 2番目すなわち L S Bに対応する 2 Rの電流
    [0138] 10 は 1番右の 2 Rにかかる電圧を 2 Rで割った値であ るから 2 R X i ÷ 2 Rで i となる。 従って 1番右の 横方向の Rには電流 2 iが流れる。 右から 3番目の 2 Rには 2 R x .i + R x 2 i の電圧がかかり、 これ を 2 Rで割るから 2 i の電流が流れる。 以下同様で
    [0139] 15 左に行く に従って 4 i、 8 i となって 2のべき乗で 増える電流になる。 この 2のべき乗になった重み電 流をオペアンプの方に流すか流さないかを決めてい るのが M S Bから L S Bである。 従って、 ディ ジタ ル重みに対応する電流が 2のべき乗の形で仮想接地
    [0140] 20 7 8に流れこみ、 オペアンプ 7 6の入力イ ンピーダ ンスは無限大であるから、 この電流がオペア ンプ 3 6の帰還抵抗 7 8に流れる。 従って、 D /Aコ ンバ ータの出力電圧 V。ut は入力電圧を E とすれば、
    [0141] E
    [0142] V out X ( D o + 2 X D i + 22 X D
    [0143] 25 2 n 1 + ' · · . + 2 n-1 X D )
    [0144] となる。 ここで、 D。 は L S Bで、 Dn- t が M S B であるとする。 すなわち、 掛箕部 3 — 3 の岀カは等 価的に入力電圧 Eに重みを掛けた値になっている。 5 その重み係数は M S Bから L S Bに入力されるデ イ ジタル値で制御されることになる。 一方、 加算部
    [0145] 4 4 は時分割多重化アナ口グ信号の各電圧とディ ジ タル重みデータとの各積についてミ ラー積分器を時 分割的に使用することにより累積加算動作を実行す
    [0146] 10 る。 そして、 サンプル /ホール ド面路 4 5 ば、 加箕 結果をサンブルノホール ドする。
    [0147] 次に加箕部 4 4を説明する。 加箕部 4 4 は抵抗 R と帰還キャパシタ Cによる積分器である。 加箕部 4 4の入力部には時分割加箕制御部 5 5があり、 位相
    [0148] 15 制御されたサンプル Zホールド信号 S Z H信号が 1 のとき乗箕部 4 3 の出力電圧がォペアンプの仮想接 地点 7 9 に入力され、 S H信号が 0 のとき反転画 路 8 0 により スィ ツチ 8 1がオンとなって乗箕部 4 3 の出力が抵抗 Rを介してグラン ドに接繞されるの
    [0149] 20 で加箕部 4 4帰還キャパシタ Cには加箕されないこ とになる。 今、 S ZHif号が 1 のとき、 乗算部 4 3 の出力電圧は抵抗 Rを介してォペアンプ 1 0 2の一 端子に入力し、 入力電圧を抵抗 Rで割った電流が仮 想接地を介して帰還キャパシタ Cの方に入力される
    [0150] 25 この後、 S /H信号がまた 0 となり、 乗箕部 4 3 と 1 加算部 4 4 は切り離されるので、 乗算部 4 3 は次の 入力信号に対して、 重みデータを掛ける こ とができ る。 キャパシタ Cを含む積分回路の帰還回路 8 2 に は 4 つのスィ ツチを用いてオフセ ッ トキ ヤ ンセル機
    [0151] 5 能が付加されている。 今オフセ ッ ト コ ン ト ロール信 号 O Cが 1 になったとする と、 スィ ツ チ 8 3 と 8 4 がオ ンで、 8 5 と 8 6 がオフ となる。 オフセ ッ ト コ ン ト ロール信号 0 C力く 0 の時には、 データ入力部 4 2、 データ入力端子 D A T A— I N P U Tに入力電
    [0152] 10 圧が与え られ、 それに対応する乗算部 4 3 の出力が 抵抗 Rを介してキャパシタ Cに入力される。 この時- スィ ッチ 8 5 , 8 6 がオ ンであり、 キャパシタ Cの 極性はオペア ンプの一端子に接続されている側が一、 オペア ンプ 1 0 2 の出力に接続されている側が十で
    [0153] 15 ある。 次に、 オフセ ッ ト コ ン ト ロール信号 0 C力 1 である場合にはデータ入力は強制的には 0 にされる この場合、 正食切換面路 4 2及び乗算部 4 3 の D / Aコ ンバータ 5 3 を介しても しオフセ ッ トがなけれ ば、 D / Aコ ンバータ 4 4 の出力は 0 ボル ト となる e
    [0154] 20 しかし、 オペア ンプ 4 9、 1 0 3、 7 1 、 1 0 2 が あるためにオフセ ッ ト電圧が生じ、 そのオフセ ッ ト 電圧が加算部 4 4 のキャパシタ Cに蓄えられる。 こ の場合、 前のオフセ 、ン ト コ ン ト ロール儈号◦ C力 0 である場合と違つてスィ ッチ 8 3 , 8 4 がオンとな
    [0155] 25 り、 キャパシタ Cの +—の極性は逆転する。 そのた 1 め、 入力信号が入力された時に生じるオフセッ ト電 圧はオフセ ッ ト コ ン ト ロール信号 O Cを 1 にする こ とにより、 キャパシタ Cの極性が変わり、 結果とし て、 オフセ ツ トがキ ャ ンセルされることになる。 本
    [0156] 5 発明では、 このように、 キ ャパシタ Cの極性の反転 を用いて等価的にオフセ ッ トキ ヤ ンセル機能を有す るように構成されている。 なお、 スィ ッチ 8 7 はリ セ ッ ト信号によって制御され、 処理開始時にリ セ ッ ト信号が与えられた場合に、 キャパシタ C h の電圧
    [0157] 10 を零にし、 加算部の出力を強制的に 0 にリセ ッ トす るものである。 こめ 0 C信号も位相制御されている ものとする。
    [0158] 加箕部 4 4の出力はサンプル/ホールド画路 4 5 の入力となる。 サンプル/ホール ド部 4 5 では、 位
    [0159] 15 相制御されたサンプル /ホールド制御信号 S / H。u t が 1である場合に、 スィ ッチ 8 8を介して加箕部 4 4の岀力がキャパシタ C h に蓄えられる。 S / H。u t 制御信号が 1である場合には、 反転画路 9 4によつ てスィ ツチ 9 0 の制御信号は 0 となり、 キャパシタ
    [0160] 20 c h の一方の端子はグラ ン ドに接地されず、 スイ ツ チ 9 1がオンになる こ とによりュニッ トの最終出力 信号がそのスィ ツチ 9 1を介してキャパシタ C h に 入力される。 すなわち、 その時の最終出力信号がォ ペア ンプ 9 6の出力端からフィードバックされてキ
    [0161] 25 ヤ ノ、。シタ C h の下側に与えられる。 従って、 キヤ ノ、。 1 シタ Cには、 加箕部 4 4 の出力から最終出力信号の 値を引いた電圧が保持される。 一方 S / H。u t 制御 信号が 0 のときには、 スィ ッ チ 8 9 と 9 0 がオ ンし、 キャパシタ C h の下側はグラ ン ドとなり、 結果とし
    [0162] 5 てキ ャパシタ Cに蓄えられた電圧、 すなわち加算部
    [0163] 4 4 の出力から最終出力値を引いた電圧値がスィ ッ チ 8 9を介して 1倍のオペア ンプ 9 3 の +側に入力 され、 そしてこのオペア ンプ 9 3 はバッ フ ァ と して 働いて、 オペアンプ 9 3 の出力がシグモイ ド関数の
    [0164] 10 入力となる。 また、 S / H。u t 制御信号が 1 のとき スィ ッチ 8 8がオンし、 キャパシタ C h には加算器 の出力値と最終出力値との差の電圧が蓄えられてい る ときには、 スィ ッチ 9 2 がオ ンしている。 そのた めォペア ンプ 9 3 には 0 ボル トが強制的に入力され
    [0165] 15 る。 この時にシグモイ ド関数 4 6及びオペア ンプ 9
    [0166] 6 , アナログスィ ツ チ 1 0 0を介してオフセ ッ ト電 圧 A Vがスィ ツチ 9 1 を介して C h の下側に入力さ れる。 したがって S / H。u t 制御信号が 0 の時点、 すなわちスィ ツチ 8 9 がオ ンでスィ ツチ 9 2 がオフ
    [0167] 20 である場合には、 C h に蓄えられた電圧、 すなわち
    [0168] (加算部の出力一オフセ ッ ト電圧 Δ V ) がオペア ン プ 9 3 とシグモイ ド関数 4 6 を介して最終出力にな る力く、 S'ノ H。u t 信号が 1 になると、 この時に生成 されるオフセ ッ ト電圧も Δ Vであるから結果として、
    [0169] 25 オ フセ ッ ト電圧かキ ャ ンセルされることになる。 1 シグモイ ド蘭数を生成する非線形関数部は非線形 画路選択制御部があり、 位相制御された S e 1 S i g信号を 1 にするとスィ ツチ 9 5がオ ンし、 シグモ イ ド関数の出力が次段に入力される。 しかし、 S e
    [0170] 5 1 S i g信号が 0 の時には反転回路 9 7を介してス ィ ツチ 9 8 の制御信号が 1 となってそれがオンし、 シグモイ ド閬数の出力はカ ツ トされる。 すなわち S e 1 S i g信号が 0 の時には、 サンプル Zホールド 部の出力電圧がシグモイ ド関数を介さずに直接オペ
    [0171] 10 アンプ 9 6 に入力される。 オペアンプ 9 6 ば本質的 には出力を一端子に直接帰還する 1倍のオペアンプ でバッ フ ァ の慟きをする。 すなわち出力イ ンピーダ ンスを 0 にするノ ツ ファ となる。
    [0172] 出力部 4 7 には時分割アナログ出力部 6 4 と出力
    [0173] 15 制御部 6 3が接続されている。 C S I が 1 のときに はスィ ツチ 9 9がオ ンで、 スィ ツチ 1 0 1 もオ ンで あるため、 オペアンプ 9 6 の最終出力値が D A T A 一 O U T P U Tに出力され、 しかもその一端子にフ イー ドバックされて、 オペアンプ 9 6 は 1倍のオペ
    [0174] 20 アンプとして働く。 それと同時に最終出力値がサン プル ホールド部 4 5 にフ ィ ー ドバッ ク される。 一 方、 C S I 力 0 のときィ ンバータ 1 0 4を介してス ィ ツチ Γ 0 0 がオ ンになり、 スィ ツチ 1 0 1 , 9 9 がオフになる。 すなわちオペアンプ 9 6 の出力は D 25 A T A— 0 U T P U T線には出力されないことにな 1 る。 しかし、 スィ ッチ 1 0 0がオ ンするこ とによつ て 1倍のバッファを形成するようにしているためォ ぺア ンプ 9 6の電圧フォ ロア動作は破壌される こ と な く実行される。 出力部 4 7 は出力制御入力信号 C
    [0175] 5 S I によって出力パルス電圧を伝達するかどうかを 決める回路である。 この C S I をディ レイ回路 1 0 5を介して C S 0として出力し、 層内の隣接する二 ユーロチップに対する出力アナ πグ信号の時間タイ ミ ングを決定するこ とになる。 このため、 本発明で
    [0176] 10 は出力部 4 7からのアナログ信号は時分割で伝達さ れるため、 バス上で他のニューロチップからのアナ πグ信号と競合しない。
    [0177] 第 8図は第 7図において、 オフセ ッ トキヤ ンセル O Cを O C 0、 O C l、 サイ ン S I GNを P N, -
    [0178] 15 P N、 サンプル ホール ド S Hを S H 1 1、 S H 1
    [0179] 0、 サンプル/ホール ド S / H。ut を S H 2 1、 S H 2 0、 シグモイ ド選択信号 S e 1 S i gを— S I G M、 S I G M、 ディ ジ一チヱーン甩信号 C S I を C S、 一 C Sでの 2信号で位相制御を実現する。 す
    [0180] 20 なわち、 1つの制御信号を、 それぞれ正相を逆相の
    [0181] 2信号で構成しかつ位相をずらすことにより、 これ らの制御信号の正相と逆相で制御される別のスィ ッ チが同時'にオ ン状態にならないようにした信号にし た場合の実施例である。 なお、 D / Aコ ンバータ 5
    [0182] 25 3の出力端に接続されたキャパシタ C f 、 抵抗 Rf 1 はオペア ンプ了 6 のフ ィー ドバッ ク信号を D Z Aコ ンバータの演算速度にあわせるためのものであり、 D T端子には、 D / Aコ ンバータのディ ジタル入力 力加えられる。
    [0183] 5 第 8図で第 7図と同一箇所は同一番号を付して説 明を省略する。
    [0184] 第 9図は、 積分器におけるタイ ミ ング図である。 データク ロ ック D C L Kと重みクロ ック W C L Kは 基本的な勳作ク ロ ックで、 データクロ ック D C L K
    [0185] 10 のハィ扰態の半周期間に高速な重みクロ ック W C L
    [0186] Kが出力される。 重みク ロ ック W C L K信号は重み シリ アルデータを取り込むための同期クロ ックであ る。 データクロ ック D C L K信号はアナログ入力信 号に対する処理を行うための基本ク ロ ックである。
    [0187] 15 同期信号 S Y N Cは各層において一層内の各アナ口 グニ ュ ー π ンプ σセ ッ サ A Ν Ρの同期をとる同期信 号である。 積分器の出力電圧の変化は下の三角形で 示された部分の波形で示される。 積分波形は、 サン プル/ホールド制御信号 S Hのパルスで制御され、
    [0188] 20 このパルスがハイ の間、 積分の動作を実行する。 す なわち、 積分器のキャパシタ Cに対する充電を開始 し、 このサンプル/ホール ド制御信号 S Hのパルス がハィの'間は、 このキャパシタに徐々に電荷が蓄積 されて電圧は上がるが、 サンプル/ホールド制御信
    [0189] 25 号 S Hのパルスがロウ となって遮断されると、 充電 1 動作を停止する。 従って、 こ の積分時間範囲でのチ ヤージ分だけが意味を持ち、 こ のサ ンプルノホール ド制御信号のパルス幅をコ ン ト ロールして積分時間 範囲を縮めたり延ばしたりすることで、 入力は同じ
    [0190] 5 電圧だが、 積分結果としてでて く るものは、 サンプ ル /ホールド制御信号 S / H のパルス幅 Wの とき充 電電圧は V a ' となる。
    [0191] サ ンプル/ホール ド制御信号 S Hが下がり、 ス ィ ッ チ ング制御より積分器のキャパシタの極性が変わ 10 り、 オフセ ッ ト分が加算されている積分出力は反転 する。 そして、 オフセ ッ トコ ン ト 口一ル信号 O Cが ハイ状態でサ ンプルノホールド制御信号 S Hが再び . 立ち上がると、 オフセ ッ ト電圧 V b ( V b ' ) がそ のキ ャパシタ に加算され、 S H信号が立ち下がった 15 時点では、 結果としてオ フセ ッ ト分がキ ャ ンセルさ れた積分出力値 V a — V b ( V a ' - V b ' ) を極 性をもどしてサ ンプル/ホールドされる。
    [0192] 次に、 階層型ニューラルネ ッ トワークを説明する 第 1 O A図は階層型ネ ッ トワーク の概念図である。 20 階層型では左側の入力層の入力ノ ー ド 1 1 0から入 つた入力データは順次右側の方向に向かって 1方向 にだけ処理されてい く。 中間層の各ニュ一ロ ン 1 1 2 は、 ダミーノー ド 1 1 1 を舍む前の層の出力をそ れぞれ層内の完全結合で受けるようになつている。 25 入力層に例えば 4個の入力ノー ド 1 1 0があると、 それにダミーノー ド 1 1 1 の 1個がたされ、 中間層 の各ニューロ ン 1 1 2からみると入力層は 5つの二 ユーロ ンに見えている。 ここで、 ダミーノ ー ド 1 1 1 とは、 ス レッ シュホール ドをコ ン ト ロールするも ので、 積和の結果 Xのシグモイ ド閬数
    [0193] 1
    [0194] ί ( X ) = の値 Xに一定値一 5を加
    [0195] 1 + exp (- X)
    [0196] えることにより X軸の正方向にシフ トさせた値 f ( x - β ) にするものである。 これはダミーノード
    [0197] 10 1 1 1 に対応する重みをニューロ ン内で変えること と等価であるが、 後述するマックスバリ ューノ ー ド 回路を用いて、 一定値 ^を生成している。 このよう に、 ダミーノ ードに対する重みを用意しておけば、 閾値を重みで表現することができる。 そして出力層
    [0198] 15 のニューロ ン 1 1 2から中間層はニューロ ンが 4 ® あるよう にみえる。 入力層に加えられた入力データ は、 中間層ニューロ ン 1 1 2、 出力層ニューロ ン 1 1 2で重みデータを用いてそれぞれ積和演算を施さ れ、 結果として出力データを発生する。
    [0199] 20 第 1 0 Α図に示した階層型構造のものを本発明の
    [0200] A N Pを用いて実現すると、 第 1 0 B図のように、 各層間、 つまり入力と中間層との間、 中間層と出力 層の間、 '出力層の出力にそれぞれの独立のアナログ ノ ス B l , B 2 , B 3を設けることになる。 縦方向
    [0201] 25 の A N Pは全部並列に実行できるという構造になる 1 出力層の出力にはサンプルホールド回路 S Hを付け る。
    [0202] 第 1 1 図は本発明の一実施例構成図である。
    [0203] 同図において、 入力側回路 1 2 0 は入力層に相当し、
    [0204] 5 1 2 1 は階層ネッ トワーク の基本単位をなすアナ口 グニューロ ンプロセ ッサ A N Pすなわち基本ュニッ トであり、 1 2 1 — hは中間層を構成する複数個の 基本ユニッ ト、 3層以上ある場合、 1 2 1 — }1は 1 つまたは複数段の中間層を構成する複数個の基本ュ
    [0205] 10 ニッ ト、 1 2 1 — i は出力層を構成する 1 つまたは 複数個の基本ユニッ ト、 1 2 1 — j は出力層回路で ある。 基本ュニッ ト 1 2 1 一 h と基本ュニッ ト 1 2 1 一 i との間、 基本ュニ ッ ト 1 2 1 — i の相互間、 基本ュニッ ト 1 2 l — i と基本ュニ ッ ト 1 2 1 — j
    [0206] 15 との間で電気的な接続がなされ、 且つこの各接続に 対応して設定されることになる重みにより、 1 3 0 で示される階層ネ ッ トワークが構成されることにな る。
    [0207] 基本ユニッ ト 1 2 1 は、 少な く とも乗箕部 1 2 2、 20 加箕部 1 2 3、 閾値部 1 2 4 を有し、 場合によって 出力保持部 1 2 5を備える。 この乗箕部 1 2 2 は、 複数の入力とこれらの入力に対しての重みとを受け 取って乗算を行い、 加算部 1 2 3 は、 乗算部 1 2 2 により得られる前段層の全ての基本ュニッ ト 1 2 1 25 に関しての乗算結果を加算し、 閾値部 1 2 4 は、 加 l 寘部 1 2 3 により得られる加箕結果を非線型の閾値 関数によって変換して最終出力を箕出するよう処理 する。 出力保持部 1 2 5がある場合、 これは閾値部 1 2 4により求まる最終出力を保持するよう処理す
    [0208] 5 る。 この基本ュニッ ト 1 2 1 への入出力は、 アナ口 グ信号をもつて実現されるよう構成される。
    [0209] 1 4 0 はアナログバスであり、 入力層と最前段の 中間層との間 （ 1 4 0 a ：) 、 中間層相互間の間 （ 1 4 0 b ) の電気的な接続及び最終段の中間層と出力
    [0210] 10 層との間 （ 1 4 0 c ) の電気的接続のために設けら れる共通線である。 1 5 0 は主制御面路であり、 階 層ネッ トワーク 1 3 0中におけるデータ転送を制御 するものである。 この主制御画路 1 5 0 は'、 駆動ュ 二ッ ト選択手段 1 5 1、 重み設定手段 1 5 2、 閾値
    [0211] *15 処理起動手段 1 5 3及び出力値送信手段 1 5 4を備
    [0212] 7Lる。
    [0213] この実施例では、 駆動ュニッ ト選択手段 1 5 1 は- 前段層の基本ュニッ ト 1 2 1を時系列的に順次選択 するよう処理する。 そして、 出力値送信手段 1 5 4
    [0214] 20 は、 この選択処理と同期させて、 選択された基本ュ ニッ ト 1 2 1が保持するアナログ信号の最終出力を. アナログバス 1 4 0を介して、 時分割の送信形式に 従って後段層の基本ュニッ ト 1 2 1 に対して出力す るよう処理する。 この入力を受け取ると、 後段層の
    [0215] 25 基本ユニッ ト 1 2 1 の乗箕部 1 2 2 は、 重み設定手 1 段 1 5 2 により設定されるところの前段層の基本ュ ニッ ト 1 2 1 との接続に対応する重みを順次選択し て、 入力と重みとの乗算処理を行い、 加箕部 1 2 3 は、 乗箕部 1 2 2 により求められる乗算結果を順次
    [0216] 5 加算してい く。 前段層の基本ユニッ ト 1 2 1 に関し ての全ての積和処理が終了したことを確認すると、 閻値処理起動手段 1 5 3 は、 非線形の闞値閬数 f で 変換する処理を行う。 そして、 その基本ュニッ ト 1 2 1 からは f ( X— ） が出力される。 この後段層
    [0217] 10 が、 新たな前段層になって、 次の後段層に対して同 様の処理を繰り返してい く こ とになる。 このデータ 転送方式により、 入力パターンに対応するところの 出力パターンが、 階層ネ 'ン トワークの出力層より出 力される ことになる。
    [0218] 15 第 1 2図に、 この基'本ュニ 'ン ト 1 2 1 を複数個、 階層的に接続する こ とで構成されるネ ッ トワーク構 成データ処理装置の一実施例を示す。 この実施例は、 各基本ュニッ ト 1 2 1 に与えられる重みをュニッ ト の外部で一時保持し、 C S I の制御を主制御回路よ
    [0219] 20 り与える場合の実施例である。 この実施例は、 第 2 図で示した階層ネ ッ トワークの階層構造間の電気的 な接続を、 1本の共通なアナログバス 1 4 0 (識別 子としで a乃至 cが付く ことがある） をもって実現 する実施例である。 従って、 基本ュニッ ト 1 2 1 の
    [0220] 25 出力スィ ツチ部 3 6から出力させる最終出力値 （こ 1 れが、 後段層に位置する基本ユニッ ト 1 2 1への入 力となる） は、 アナログ信号の出力モードで出力さ れるように構成される。 なおこの実施例では h、 i 層が中間層で、 出力層を j 層として示してある。
    [0221] 5 同図において、 1 6 1 は各基本ユニッ ト 1 2 1毎 に設けられる重み出力画路で、 基本ュニッ ト 1 2 1 内の重み保持部 3 8 のための重みを出力するもの、 1 6 2 は重み信号線で、 重み出力面路 1 6 1 の出力 を重み保持画路 3 8 に接続する もの、 1 2 0 (識別
    [0222] 10 子として a乃至 nが付く ことがある） は入力信号の 数に合わせて設けられる入力側面路で、 階層ネッ ト ワークの入力層に対応して入力パターンとなる初期 信号を出力するもの、 1 6 4 (識別子として a乃至 dが付く こ とがある） は C S I を含む同期制御信号
    [0223] 15 線で、 データ fe送の制御を実行する主制御面路 1 5
    [0224] 0からの同期制御信号を、 重み出力面路 1 6 1、 入 力側回路 1 2 0及び基本ュニッ ト 1 2 1 の制御画路 3 9 'に伝えるための信号線である。 なお、 この同期 制御信号線 1 6 4 は、 図中では共通線で示してある
    [0225] 20 力 、 詳細には、 各画路に対し主制御回路 1 5 0 と個 別の信号線で接続されている。
    [0226] 第 1 3図に、 主制御面路 1 5 0 の詳細なシステム 構成を示す。 同図において、 主制御 II路 1 5 0 は、 外部ノヾス イ ンタ フ ェ イ ス 1 5 0 a 、 マイ ク ロ コー ド
    [0227] 25 メ モ リ 1 5 0 b、 プロ グラ ム シーケ ンサ 1 5 0 c、 1 制御バター ンメ モ リ 1 5 0 d、 重みデータメ モ リ 1 5 0 eを少な く ともを含んで構成される。 外部バス イ ンタ フ ェ イ ス回路 1 5 0 a は、 メ イ ンバス 1 5 0 Xを介してホス トコ ン ピュータ 1 5 0 y、 外部記憶
    [0228] 5 装置 1 5 0 z と接続されており、 ホス ト コ ン ビユ ー
    [0229] タ 1 5 0 yからの動作指示を受け取るもの、 マイ ク ロ コ 一 ドメ モ リ 1 5 0 b は、 プロ グラ ム シーケ ンサ 1 5 0 c の動作を規定する マイ ク ロ コ ー ドを格納す る もの、 プロ グラ ム シーケ ンサ 1 5 0 c は、 マイ ク
    [0230] 10 口 コ ー ドメ モ リ 1 5 0 b 内のマイ ク ロ コ ー ドに応じ て制御パター ンメ モ リ 1 5 0 d及び重みデータ メ モ リ 1 5 0 e のア ド レスをコ ン ト ロールする もの.、 制 御バターンメ モ リ 1 5 0 d は、 その出力信号線が入 力側画路 1 2 0、 中間層、 出力層における基本ュニ
    [0231] 15 ッ ト 1 2 1 のそれぞれに個別に接続されており、 プ ログラムシーケンサ 1 5 0 cからの指示に応じて、 各組毎、 すなわち、 入力側回路 1 2 0 の組、 中間層 の組、 出力層の組毎に、 各組のう ちの 1 つの回路、 あるいは基本ュニッ ト 1 2 1 を時分割に選択するよ
    [0232] 20 う に、 出力信号線、 各種同期信号線のオ ン、 オ フを 設定するためのもの、 重みデータメ モ リ 1 5 0 e は、 プロ グラ ムシーケンサ 1 5 0 c の指示に応じて、 時 分割入力信号に同期して各基本ュニッ ト 1 2 1 に重 みが与えられるように、 各重み出力回路 1 6 1 に重
    [0233] 25 み （デ ィ ジタルデータ ） を出力する ものである。 な 1 お、 ホス ト コ ンピュータ 1 5 0 yは、 M P Uと主記 憶を舍み、 ノ ッ クプロパゲーショ ン等の学習アルゴ リ ズムより重みを決定したり、 入力パターン Y i を 与えたりするための制御を行う。 外部記憶装置は、
    [0234] 5 ニューロ コ ンピュータを構築するためのデータを格 納する。
    [0235] 次に、 第 1 4図に示すタイ ミ ングチャー トに従つ て、 このよ う に構成される第 1 2図の実施例の動作 処理について説明する。
    [0236] 10 ホス ト コ ンピュータ 1 5 0 yからメ イ ンバス 1 5
    [0237] 0 Xを介して出力パターンへの変換要求が与えられ ると、 主制御面路 1 5 0 は、 入力側面路 1 2 0に対 して出力制御信号を時系列的にサイ ク リ ックに送出 することで、 複数の入力側面路 1 2 0 を順次、 時系
    [0238] 15 列的にサイ ク リ ックに選択してい く よう処理する。
    [0239] すなわち、 主制御回路 1 5 0 ば、 プログラムシーケ ンサ 1 5 0 c の指示に応じて、 制御パターンメ モ リ 1 5 0 dから、 入力側面路 1 2 0を順々に 択する ベく、 同期制御信号線 1 6 4 aを順々 に各入力側画
    [0240] 20 路 1 2 0毎にオンさせる。 つまり、 まず、 入力側面 路 1 2 0 a に与えられる入力パターン をアナ口 グバス 1 4 0 aに出力すべく、 n本の同期制御信号 線 1 6 4 ·のう ち、 入力側面路 1 2 0 a のゲー トをォ ープンする同期制御信号 （ C S I ) 線 1 6 4 a (図
    [0241] 25 中では、 1 6 4 a — 1 で表している） のみをオンし 1 他の同期制御信号線 1 6 4 a はオ フにする。 続いて 入力側回路 1 2 0 b に与えられる入力パター ン Y 2 をアナログバス 1 4 0 a に出力すべく 、 入力側面路 回路 1 2 0 bのゲ一 トをオープンする同期制御信号
    [0242] 5 線 1 6 4 a (図中では、 1 6 4 a — 2で表している のみをオ ン し、 他の同期制御信号線 1 6 4 a はオ フ にする。 以下同様にして、 入力側回路 1 2 0 nの入 力パター ン Y n をアナログバス 1 4 0 a に出力する まで、 同期制御信号線 1 6 4 a のオ ン、 オ フ動作を
    [0243] 10 行う。 また、 これと並行して、 h層の各基本ュニッ ト 1 2 1 の各重み出力回路 1 6 1 に対して重みを与 えるべく、 各同期制御信号線 1 6 4 a のオ ン動作に 同期するように、 同期制御信号線 1 6 4 bを介して 各重み出力回路 1 6 1毎に重みデータメ モ リ 1 5 0
    [0244] 15 e の出力をセ ッ トする。
    [0245] 第 1 4 A図では、 この同期制御信号線 1 6 4 a の 同期制御信号を Y i 出力制御信号 （ i = 1 〜 n ) で 表して、 入力側回路 1 2 0を時系列的にサイ ク リ ッ クに選択してい く過程を図示している。 ここで、 n
    [0246] 20 は入力側回路 1 2 0 の個数である。 このようにして 選択される入力側面路 1 2 0 は、 h層との間に設け られるアナ πグバス 1 4 0 (図中では、 入力層アナ ログバス · 1 0 a という ） 上に、 入力パターンとし て与えられたアナ口グ信号 Y i を送出するよう処理
    [0247] 25 する。 こ の入力パター ンは、 ホス ト コ ン ピュータ 1 1 5 0 yを介して与えられる。 従って、 第 1 4 A図に 示すように、 入力層アナ口グバス 1 0 a上には、 アナ口グ信号 Y i が、 入力側回路 1 2 0 の偭数分順 序よ く送出されるとともに、 最初の入力パターンの
    [0248] 5 Y i 、 続いて次の入力パターンの Y i 、 そして次の 入力パターンの Y i というように、 次々 と操り返し 送出されてい く ことになる。
    [0249] h層の各基本ュニッ ト 1 2 1 の乗算部 1 2 2 は、 この送出されてく るアナ口グ信号 Y i を受け取ると，
    [0250] 10 主制御回路 1 5 0からセッ トされることになる重み 保持部 3 8 の重み W i を使い、 上述した乗箕処理の ( Y i · W i ) を実行することになる。 この重み W i は、 ノ、'ツク ' プロ.パゲーシヨ ン法に従って、 M P Uですでに決定されているものとする。
    [0251] 15 従って、 主制御面路 1 5 0 は、 第 1 4 B図に示す ように、 入力側面路 1 2 0 の選択処理と同期させて. 重み出力面路 1 6 1 を介して、 その選択された入力 側回路 1 2 0 に応じた重み W i を、 h層の各基本ュ ニッ ト 1 2 1 の重み保持部 3 8 にセッ ト していく こ
    [0252] 20 とになる。 そして、 1 バスサイ クルの間に Y i と W の積をとつて前の積和との和を求めることになる。
    [0253] この基本ュニッ ト 1 2 1への重みの設定処理は、 アナコグ '信号かディ ジタル信号のいずれのモー ドに 従って実現することも可能である。
    [0254] 25 なお、 重みは、 接続毎に指定されるものであるこ 1 とから、 正確には W i j ( j は h層の基本ユニッ ト 番号） と表すべきであるが、 説明を簡単にするため に W i としてある。
    [0255] ここで、 第 1 5図に示される基本ュニッ ト 1 2 1
    [0256] 5 の信号処理のタイ ミ ングチャー トに従って、 その処 理動作につい'て説明する。 なお、 こ こでは、 中間層 における基本ユニッ ト 1 2 1 (図中の 1 2 1 a ) に ついて説明するものとする。
    [0257] まず、 制御回路 3 9 は、 主制御回路 1 5 0 の制御
    [0258] 10 パターンメ モ リ 1 5 0 dから同期制御信号線 1 6 4
    [0259] (図中の 1 6 4 b - 1 ) を介して与えられる同期制 御信号を受け取ると、 0 Cに相当する入力制御信号 ( c ) をオンにし、 入カスィ ツチ部 3 7 を導通させ ると同時に、 パ ッ フ 7 3 8 a のゲー トをオープンす
    [0260] 15 る重み入力制御信号 （ d ) 、 出力スィ ツチ部 3 6を 導通させる C S I に相当する出力制御信号 （ h , ) をオンにする。 このとき、 主制御回路 1 5 0 は、 ク ロ ック （ a ) と同期して前述した同期制御信号線 1 6 4 a の C S I を順次オ ンにするので、 このク ロ .ン
    [0261] 20 ク （ a ) に同期して入力側回路 1 2 0 a , 1 2 0 b ,
    [0262] . . · 1 2 O nに保持されている入力パターン信号 Y i 力く、 アナログバス 1 4 0、 入力スィ ツチ部 3 7 を介して乗算型 D /Aコ ンバータ 3 2 a に与えられ る。
    [0263] 25 —方、 主制御面路 1 5 0 は、 同様に、 重みデータ 1 メ モ リ 1 5 0 e の重みを同期制御信号線 1 6 4 b
    [0264] (図中の 1 6 4 - 2 ) を介して重み出力面路 1 1 に与えているので、 この重み （ディ ジタルデータ） W i がバッ ファ 3 8 aを通して重み保持部 3 8 に 5 格納される。 また、 このとき、 C S I の出力制御信 号 （ ίι！ ) がク ロ ッ ク （ a ) の 1周期分だけオンに なるので、 基本ュニ ッ ト 1 2 1 のサンプルホールド 回路のァナ口グゲー トがこの簡オーブン扰態となり、 保持されていたアナログ値が出力スィ ツチ部 3 6を 10 介して後段の i 層のアナログバス 1 4 0 b上に出力 される。 さて、 重み保持部 3 8 にディ ジタル値の重 み W t が格納されると、 乗算制御信号 （ e ) がオ ン となるので、 乗箕型 Dノ Aコ ンバータ 3 2 a は、 入 カスィ ツチ部 3 7を介して与えられるアナログ信号 15 Y 1 と重み との乗箕を行い、 乗算結果をアナコ グ信号として出力する。 続いて、 加箕制御信号 （ ί ) がオンになるので、 積分器で構成されるアナ πグ加 算器' 3 3 aが動作し、 直前保持されていたアナログ 値 （最初はク リ アされており、 ゼロである） と乗箕 20 型 D Z Aコ ンバータ 3 2 a の乗算結果との加箕が行 われ、 加箕結果がサンブルホールド面路 3 3 に再 格納される。
    [0265] 以上の'動作により、 1 バスサイ クルが終了し、 次 のクロ ック （ a ) に同期して、 入力スィ ッチ部 3 7 25 からは入力側面路 1 2 0 b の入力パターン Y 2 が与 1 えられ、 重み出力回路 1 6 1 からはこの入力パター ン Y 2 に対応する重み W2 が与えられるので、 入力 パターン γ2 と重み w2 との乗算が行われ、 そして、 この乗算結果とサンプルホール ド回路 3 3 bのホー
    [0266] 5 ルド値との加算が行われる。 そして、 これ以降、 入 力側回路 1 2 0 nの入力パターン Yn に対する処理 が終了するまでこの動作を操り返す。 そして、 入力 パターン Yn と ^ n との乗算が終了すると、 変換制 御信号 （ g ) がオ ンになるので、 この乗算結果を累
    [0267] 10 算した値が、 閾値部 1 2 4 の非線形関数発生回路 3
    [0268] 4 a に入力され、 対応する Y値が保持される。 すな わち、 閾値処理部 1 2 4 は、 上述した
    [0269] Y = l / ( l + e x p ( - X + e ) )
    [0270] という演算処理を行い、 これにより、 基本ュニッ ト
    [0271] 15 1 2 1 の最終的な演算出力である最終出力値 Yが求 められ、 保持され、 次の出力制御信号 （ h t ) の立 ち上がり時にこの結果が後段のアナ口グバス ( 1 4 O b ') に出力される。 この値 Yが求まると、 加算部 3 3 の累算値は、 次の入力側面路 1 2 0 の選択サイ
    [0272] 20 クルと同期して、 入力されるク リ ア信号により ク リ ァされる。
    [0273] 以上に説明したような動作を行う ことにより、 各 基本ュニツ ト 1 2 1 は、 入力パターン Y i と重み Wi から最終出力値 Yを得る。
    [0274] 25 これ以降、 第 1 2図に示される実施例の構成に戻 1 つて説明する。 第 1 5図を用いて詳述したように、 全ての入力側面路 1 2 0からの入力バ ーンに対す る処理が終了すると、 再度主制御面路 1 5 0から各 基本ユニッ ト 1 2 1 (識別子として a なしい nが付
    [0275] 5 く ことがある） に対して同期制御信号が与えられる ので、 入力側面路 1 2 0 に新たに与えられる入力パ ターン Yi と新たな重み Wi に従って同様の動作を 実行する。
    [0276] 一方、 このようにして求められる h層の基本ュニ
    [0277] 10 ッ ト 1 2 1 の最終出力値 Yは、 保持されて、 入力側 回路 1 2 0 に対してなされた処理とまつたく同じ処 理により、 アナログバス 1 4 0 bを介して、 次段に 位置する i 層の基本ュニッ ト 1 2 1へと時分割の送 信形式に従って送出されてい く ことになる。 すなわ
    [0278] 15 ち、 主制御面路 1 5 0 は、 h層の各基本ュニッ ト 1
    [0279] 2 1 a〜 1 2 1 ηの制御面路 3 9 に対して同期制御 信号線 1 6 4 b (図中の 1 6 4 b — 1 ) を介して出 力制御信号 h i 〜！ 1 2 (第 1 5図） を時系列的にサ イ ク リ ックに送出することで、 各基本ュニッ ト 1 2
    [0280] 20 1 3 , 1 2 1 1) · · · の岀カスィ 'ンチ部 3 6を順次.
    [0281] 時系列的にサイ ク リ ックに 0 Nする。 これにより、 各基本ュニッ ト 1 2 1 a〜 l 2 1 nに保持されてい る最終出力値のァナログ信号が、 i 層の各基本ュニ ッ トの乗寘部 1 2 2 に時分割の送信形式で送られる
    [0282] 25 ことなる。 i 層の各基本ユニッ トは、 前述したと同 1 様の処理動作を実行し、 この処理により求められ'る i 層の基本ュニッ ト 1 2 1 の最終出力値 Yを同様の 時分割の送信処理を実行するこ とで、 出力層の基本 ュニッ ト 1 2 1 の最終出力値 Yが求められるこ とに
    [0283] 5 なる。 すなわち、 主制御回路 1 5 0 は中間層、 出力 層の各基本ュニッ ト 1 2 1 に偭別に接続された同期 制御信号線 1 6 4 c、 1 6 4 dを介して、 同様に各 基本ュニッ トの制御を行う。
    [0284] 第 1 6図は階層二ユーラルネ ッ トワークを実現す
    [0285] 10 る本発明のニューロコ ン ピュータのブロ ック図であ る。 ニューロチップからアナログニューロ ンプロセ ッサ A N P 1〜 5を各層に並列に配置し、 各層間に 独立にアナログバス （ B 1 , B 2 , B 3 ) を設ける < 同図において、 A N P 1 , 2 , 3で中間層を形成し、
    [0286] 15 AN P 4 , 5で出力層を形成する。 また、 入力段の
    [0287] A N Pはな く、 入力側にはアナログ入力信号をタイ ミ ングよ く入力するためのディ ジー回路 1 7 1 , 1 7 2が存在する。 S /Hで示す回路はサンプル/1ホ 一ル ド回路 1 7 3 , 1 7 4である。 A N P 1〜 5 に
    [0288] 20 はそれぞれコ ン ト ロール用の口ジッ ク信号が必要で あるので、 マスタコ ン ト ロールブロ ッ ク （ M C B ) 1 8 1 から各層に多く の制御信号線を送り込む。 デ —タク 口'ッ ク D C L Kはすべての A N Pの入力側の ディ ジー回路 1 7 1 と 1 7 2 に与えられ、 アナログ
    [0289] 25 処理の基本ク ロ ック となる。 重みク ロ ック W C L K 1 もすベての AN Pと入力側のディ ジ一面路 1 7 1 ,
    [0290] 1 7 2に与えられ、 重みデータ用の高速クロ ックで ある。 重みメ モ リ ブロ ック 1 8 5 , 1 8 6から各 A N P 4 , 5及び AN P 1 , 2 , 3にはその重みク ロ
    [0291] 5 ック W C L Kに同期して重みデータが入力される。
    [0292] また、 同期信号 S Y N C 1 は中間層の AN Pに与え られる層の同期ク ロ ックで同期信号 S YN C 2は出 力層の AN Pに与えられる層の同期クロ ックである。 S H 1 と〇 C 1 は中間層の AN Pに対するサ ンプル
    [0293] 10 Zホール ド制御信号とオフセ ッ ト コ ン ト ロール信号、
    [0294] S H 2 と O C 2は出力層の AN Pに対するサ ンプル ノホール ド制御信号とオフセ ッ トコ ン ト ロール信号 である。
    [0295] 左側のブロ ックであるディ ジ一面路 1 7 1 , 1 7 15 2 は、 入力層に相当する入力側面路である。 入カノ ー ド、 つまり入力層内のニューロ ンを実現するため に、 アナログ信号を時分割で A N Pが出すのと同じ タ イ ミ ングで、 アナログ入力ボー ト 0 , 1より与え られるアナ口グ入力信号を面路内に入力しなければ 20 ならない。 つまり、 出力層からみれば、 出力層の A
    [0296] N P 4 , 5は前の中藺層の AN P 1 , 2 , 3からァ ナ口グ信号をアナ口グバス B 2を介して時分割で受 けることを基本動作としている。 これと同じ関係が 中間層と入力層にも存在しなければならない。 入力 25 層と中間層の関係は、 中間層の AN Pから見るとそ 1 の前に入力層の A N Pがあるよう に見えなければい けない。 このこ とは、 中間層の A N Pがアナログバ ス B 2にアナ口グ信号を出力するタ イ ミ ングと同じ 機能でァナ口グ入力ポー ト 0 , 1からのアナログ入 5 力信号に対しても決ま った規則でアナログバス B 1 に出力しな く てはならないという制約がある。 即ち アナログ入力ポー ト 0 , 1からの入力信号はアナコ グバス B 1 に時分割に乗って く る。 アナログ入力ポ ― ト 0からのアナログ信号は、 適当なタ イ ミ ングで
    [0297] 10 アナログバス B 1に乗る力 そこに出力した次のタ ィ ミ ングで、 アナログ入力ポー ト 1からの次のアナ πグ入力信号が同じアナログバス B 1 に乗る。 こ の 同期をとるために一定のタイ ミ ングで出される入力 制御信号 C S I をデイ ジ一回路 1 7 1が入力し、 一
    [0298] 15 定時間後に、 その回路から出力制御信号 C S 0が出 される。 この C S I はマスタコ ン ト ロール画路 1 8 1 の C S 0 1から出力される。 ディ ジー回路 1 7 1 , 1 7 '2は一種の遅延回路である。 各デイ ジ一面路 1 7 1 はマスタ コ ン ト ロール 1 8 1から入力制御信号
    [0299] 20 C S Iを入力する と、 自分は縦方向に隣接する次の デイ ジ一面路 1 7 2に対して、 アナ ログ入力ポー ト 1のアナログ出力信号を出すよ う に、 C S O信号を 次に渡すこ とになる。 この動作をディ ジー制御と呼 ぶ。
    [0300] 25 マスタ コ ン ト ロール回路 1 8 1 の C S 0 1が立ち 1 上がる と、 スィ ッチ 1 7 5がオンし、 サンプルノホ 一ルド面路 1 Ί 3 に保持されているアナログ入力ポ ー ト 0 のアナログ入力信号はアナログバス B 1 に乗 る。 C S O 1 はデイ ジ一回路 1 Ί 1 の C S I である
    [0301] 5 から、 これが立ち下がってから一定時間後に C S 〇 が立ち上がる。 これはデイ ジ一面路 1 7 2 の C S I であると同時に、 スィ ッチ 1 7 6を制御してォンに させるので、 サンプルノホール ド回路 1 Ί 4 に保持 されていたアナログ入力ポー ト 1 のアナログ入力信
    [0302] 10 号をバス B 1 に乗せる。 階層構造になった本システ ムでは、 このディ ジー制御が必要となる。 つまり、 アナ口グ入力信号に対してアナ口グ入力ポー ト 0か らサンプルノホールド面路 1 7 3を介してアナログ バス B 1 に出力すれば、 次にアナ口グ入力信号に対
    [0303] 15 してアナログ入力ポー ト 1からサンプル Zホールド 回路 1 Ί 4を介して同じアナログバス B 1 に出力さ せることになる。 中間層の各ニューロ ンでみている とアナログ入力ボー ト 0のアナログ入力信号とアナ ログ入力ポー ト 1からの次のァナログ入力信号とは
    [0304] 20 時分割で逐次に入ってく る。
    [0305] 各ディ ジー回路 1 7 1 , 1 7 2 は、 アナログバス B 1上のバス競合を防ぐために、 入力制御信号 C S I を特定の時 F曰だけ遅延させて出力制御信号 C S 0 を出す。
    [0306] 25 中間層においても、 マスタコ ン ト ロールブロ ック 1 1 8 1 からの出力制御信号 C S 0 2を C S I として 受ける A N P 1 がアナログ信号を出力したら、 C S 0を C S I として A N P 2 に渡すと、 次に A N P 2 が出力する。 A N P 2 の C S Oを C S I として受け
    [0307] 5 る A N P 3が次にアナログ信号を出力すことになる, 要するに、 ここでは A N P 1 , 2 , 3 の順に出力し 中間層のデイ ジ一動作が終わる。 これと並行して全 ての動作を管理しているマスタコ ン ト 口一ルブロ ッ ク 1 8 1 は、 出力層の A N P 4 に C S 0 3を与える
    [0308] 10 と A N P 4が出力し、 出力完了後、 A N P 4が A N
    [0309] P 5 に C S Oを与えると A N P 5が出力する。 出力層の A N P 4 , 5からの出力は、 それぞれマ スタコ ン ト ロールブロ ック 1 8 1 力、ら C S 0 3信号 及び A N P 4からのディ ジーチヱーン用出力制御信
    [0310] 15 号 C S 0によってそれぞれサ ンプルノホール ド面路
    [0311] 1 7 7 1 7 8でサンプル/ホール ドされる。 この 出力電圧は、 アナログ出力ポー ト 0， 1からアナ口 グ出力信号として出力される他、 アナログマルチプ レクサ 1 7 9で選択された後、 AZDコ ンバータ 1 20 8 0で AZD変換され、 M P U 1 8 2、 メ モ リ 1 8
    [0312] 3、 通信ィ ンタフヱイ ス 1 8 4から構成されるディ ジタル制御手段に入力される。 そして、 M P U 1 8 2で例えば学習時に与えた M P U内に蓄えられた教 師信号と比較し、 所望の出力信号であるかのチュ ッ 25 クを行い、 この結果に基づいて後述する重みメ モ リ 1 の重みデータを変更する。 マックスバリ ューノー ド 面路 1 8 7 はマスタコ ン ト ロールブロ ック 1 8 1 か らダミーノー ド制御信号 D C S 1 , D C S 2が出力 イ ネ一ブル 1及び 2 に加えられるとともに、 出力端
    [0313] 5 子はアナログバス B l ， B 2 に接続される。
    [0314] 第 1 7図は第 1 6図に示した実施例にかかる階層 型ニューロ コ ンピュータのタイ ミ ング図である。 各 層別にその制御信号線が抜き出して書かれている。 まず基本的な動作ク ロ ックであるデータク ロ ック D
    [0315] 10 C L Kと重みク ロ ック W C L Kは同一層のすべての
    [0316] A N Pや入力側のディ ジ一面路 1 Ί 1 , 1 7 2に同 時に入る。
    [0317] 重みクロ ック W C L Kは、 重みのディ ジタルデー タをシ リ アルで送り込むためのシ リ アル同期パルス
    [0318] 15 で、 重みメ モ リ ブロ ックから重みを読み出すための 同期ク ロ ックである。 どのタイ ミ ングで、 入力デー タを取り込むかはそれぞれの制御信号で規定する。 まず第 1 7図のタイ ミ ングチャー トにおいて、 C S 0 1 ばマスタコ ン ト ロールブロ ック 1 8 1から出力
    [0319] 20 されるディ ジーチェーン用制御信号 C S 0 1、 すな わ-ちデイ ジ一画路 1 7 1 へのディ ジーチェーン用制 御信号 C S I である。 デイ ジ一画路 1 7 1 において C S I が 1番百のアナ口グ入力信号をアナ口グ入力 ポー ト 0からサ ンプル Zホール ド面路 S H 1 7 3を
    [0320] 25 介してアナログバス B 1 に出力させる。 すなわちタ 1 ィ ミ ングチ ャー トの①においてアナログ信号をアナ ログバス B 1 に出力させる。 この瞬間に、 アナログ バス B 1上に電圧が乗り、 AN P 1 , AN P 2 , A N P 3 はこのアナ口グ信号に対して並列に積和演算 5 を行う。 その C S Oがデイ ジ一回路 1 7 1を通過し、
    [0321] C S 0が立ち下がってから所定時間後に次の C S I が②に示すように立ち上がり、 ディ ジー回路 1 7 2 にその C S Iが入る。 次の C S I は入力層の 2番目 のディ ジ一面路 1 ， 2に入る制御信号である。 そ-し
    [0322] 10 て C S I がハイ の間にアナログ入力ポー ト 1からァ ナログ入力信号をサンプル/ホールド回路 S H 1 7 4を介して AN P 1 , AN P 2 , AN P 3に入力し、 ここで積和演算を行う。 マスタコ ン ト ロールプロ ッ ク 1 8 iからの D C S 1 は、 ダミーノ ー ドへの制御
    [0323] 15 信号である。 各層とも入力の他にダミーノー ドから の信号があるので （ニューロ ンノー ド数 + 1 ) 個の ノー ドの形態であり、 入力層では 2入力であるが、 各中間層の AN Pからみると 3入力であるように見 える。 これを時間的に説明すると、 2つの C S I と
    [0324] 20 1つの D C S 1で 1つのブロ ック となる制御信号で ある。 入力のサイ クルは、 最初の C S Iから始まり、 D C S 1 のダミーへの入力で終わる。 ダミーノ ー ド はマッ スバリ ューノ ー ド回路 1 8 7であり、 その 回路は D C S 1が入力されている間アナログバスに
    [0325] 25 固定されたある閾値電圧を出力する。 すなわち③で 示すように D C S Iが立ち上がってからこの電圧が 出力されている間、 中間層の各 A N Pは通常の入力 と同様に積和演箕を行って、 その固定電圧が前の 2 つのアナ口グ入力信号の積和演箕されたものの結果
    [0326] 5 に加えられることになる。 すなわち、 掛け算後、 足 し箕を実行する。 S YN C 1は、 C S 0 1が立ち上 がる前の D C L Kの立ち下がりでハイ となり、 D C S 1が立ち上がつてから次の D C L Kの立ち下がり でロウとなる。 これは入力層の同期をとる信号であ
    [0327] 10 る。 W C L Kが入力されている間でアナログ入力と 重みデータの掛け算が行われる。 中間層の AN Pに 入るサ ンプルノホール ド信号 S H 1には、 2つの山 M l , M 2が出力されているが、 最初の山 M 1の少 し前で積をとり山の部分で和を生成し、 ホールドす
    [0328] 15 る。 そして、 次の山 M 2でオフセ ッ ト電圧 Vb (第
    [0329] 9図参照） を差し引いてサ ンプルノホール ドする。 このような処理を入力されるすべてのアナ口グ信号 について順次橾り返し行い、 積和の計箕が終わる。 この場合はダミ ーを含めて中間層の各 AN Pは積和
    [0330] 20 演算を 3回実行する。 これで中間層の各 AN Pの 1 画の処理ば終わり、 3入力に対する積の加算までが 終了する
    [0331] また、' タイ ミ ングチ ャー ト に於いて D C S 1が立 ち下がった直後の D C L Kがハイ のとき、 アナログ
    [0332] 25 2カボー ト 0、 1 , ダミーノードから 3つの信号に 1 ついて積和演算した結果が各 A N P 1 , 2 , 3 のキ ャパシタ （第 7図、 サンプルノホール ド部 4 5内の C h ) にホール ドされる。 このような動作が基本的 に繰り返されることになるが、 中間層と出力層との 5 間にあるアナログバス B 2 に A N P 1 の出力信号を いつ出力するかという ことはマスタコ ン ト ロールブ ロ ック 1 8 1 から出される C S 0 2 の信号の立ち上 がりで決まる。
    [0333] S H 1 の下に示したオフセ ッ ト コ ン ト ロール制御
    [0334] 10 信号〇 C 1 は A N Pの内部においてオフセ ッ トキヤ ンセルを行う。 すなわち各 A N Pは内部的にォペア ンプを含むアナログ回路であって、 画路自体がオフ セ ッ トを持っているため、 このオフセ ッ トをキャ ン セルするための制御信号 0 C信号である。 O C 1
    [0335] 15 に示されるように積和の演算が 1 つ実行される毎に
    [0336] 1 つのパルスが出され、 内部においてオフセ ッ トキ ヤ ンセルが実行されている。 タイ ミ ングチャー トで は④'で示すように C S 0 2が立ち上がるとともに A N P 1 からアナログバス B 2 に A N P 1 にホール ド
    [0337] 20 されていた信号が出力し、 C S 0 2がハイ の間に出 力層の A N P 4が積和演算を行う。 ④で示される C S O 2 の立ち上がり はその前の入力結果の積和の結 果を出力するタイ ミ ングである。
    [0338] 次に、 第 1 7図を使って中間層と出力層との間の
    [0339] 25 タイ ミ ングを説明する。 1 なお、 同図において、 中間層からのデイ ジ一チヱ ーン制御信号の出力④， ⑤， ⑥， ⑦及び出力層から の出力⑧， ⑨に同期してアナログバス上にあらわれ るアナ口グ信号は上述した入力層からのデイ ジ一チ
    [0340] 5 ュ一ン制御信号の出力①， ②， ③に同期してアナ口 グバス上に入力されるアナ口グ信号に対して 1処理 サイ クル前の結果が現れることになる。 パイプライ ン処理の実行は後で說明するが、 タイ ミ ングチヤ一 トの④で示される C S 0 2の立ち上がり時において、
    [0341] 10 AN P 1 の出力が出される。 ④に示される C S 0 2 の立ち上がり時にタイ ミ ングチャー ト S H 2の信号 を見るとパルスが 2つ出されている。 S H 2信号は 第 1 S図のブロ ック図において、 出力層の第 1番目 の A N P 4に入力されている。 すなわち S H 2信号
    [0342] 15 の 2つの山のパルスにおいて、 A N P 4内で和の演 箕が 1 つ実行される。 中間層には図に示されるよう に AN P 1 , 2 , 3の 3つの中間層のニューロンが あるが、 マ ックスバリ ューノ ード回路 1 8 7による ダミーノードが 1つ加えられ、 合計 4つのニューロ
    [0343] 20 ンがあると仮定されている。 従って S H 2信号の山
    [0344] 2つのパルスが④の部分から見て 4面出力されてお り、 この S H 2信号の 4組の ώのパルスで中間層の アナ口グ信号が AN P 4に入力され積和が演算され る。 この動作は当然、 中間層の A N Pが入力信号に
    [0345] 25 対して積和演箕をしているタイ ミ ングと同時に行つ 1 ていることになり、 これはパイ プライ ン処理となつ ている。 C S 0 2 の下の信号は中間層にある A N P 1 の C S Oの信号で、 これは同じ中間層の A N P 2 に対する C S I である。 これが⑤で示されている部
    [0346] 5 分である。 その下は A N P 2 の C S Oでその下は A
    [0347] N P 3 の C S I でこれが⑥である。 その下が A N P 3 の C S Oであり、 その下の⑦がダミーノー ドの C S I であってこれは D C S 2、 すなわちマスタコ ン ト ロールブロ ックから出される信号である。 C S I
    [0348] 10 で見ると④， ⑤， ⑥， ⑦の順序でそれぞれ中間層の
    [0349] A N P 1 , A N P 2 , A N P 3、 そしてダミーノ ー ドのマ ッ クスバリ ューノ ー ド画路 1 8 7 に入力され る。 この間 S H 2信号は 2つの山を持つパルス信号 を 4つ出している。 すなわち、 A N P 4 の出力層の
    [0350] 15 ニューロンは入力アナログ信号と重みとの積を 4つ 分加えることになる。 ④の部分で A N P 1 に C S I が入力している時には A N P 1 からアナログ信号が 中間'層と出力層の間のアナ口グバスに信号が出され、 これが A N P 4 に入力される。 そしてこの時、 対応
    [0351] 20 する重みデータが A N P 4 に入力され、 それと共に 積が実行され、 S H 2信号の第 1 の山で加算され、 第 2 の山でサンプルノホールドされる。 そしてこの' 計算が終わると、 A N P 1 から C S Oの信号が立ち 上がり、 これが A N P 2 の C S I となる。 これが⑤
    [0352] 25 の状態であり、 この時重みデータ とアナログバス上 1 のデータとが掛け箕され、 和が計箕される。 ⑤が立 ち下がったあと所定時間後に AN P 3への C S I が ハイ となり⑥で示すように AN P で積和演算が行 われる。 このような積和の演算が AN P 4内で計箕
    [0353] 5 され、 ⑦のところでマックスバリ ューノー ド面路 1
    [0354] 8 7から出力される固定電圧が AN P 4に入力され、 これが内部のいままで蓄えられた積和に加えられる ことになる。
    [0355] 以上の動作は出力層の A N P 5 に対しても並行し
    [0356] 10 て行われる。 こ こに同時処理がある。 AN P 4で計 箕された積和演算の結果が出力層に接続されたアナ ログバス B 3 に出力されるタイ ミ ングはマスタコ ン トロールブロ ック 1 8 1から出される C S 0 3 の立 ち上がりである。 マックスバリ ューノー ド面路 1 8
    [0357] 15 7がアナログバス B 2に出力するための制御信号が
    [0358] D C S 2であって、 これが⑦に対応する。 この D C S 2までは中間層における計箕結果を出力するまで の動作である。 タイ ミ ングチャー トのこれより も下 に書いてある信号に対しては同じような動作であり、
    [0359] 20 中間層とカスケ一ドに接続された出力層側の動作を 規定する信号パルスである。 C S O 3が立ち上がる と、 A N P 4で計箕された積和演算の結果が出力さ - れることになる。 出力層では A N P 4、 AN P 5の 2個が出力される。 なお、 例えば④の C S 0 2 の立
    [0360] 25 ち上がり は、 A N P 1 に入る信号で、 この立ち上が 1 り は D C L Kより も遅れている。 これはアナログ入 力信号とディ ジタル重みデータとの積演算を行う場 合、 W C L Kでディ ジタルデータを読み込む時にシ リ アルであって、 これを内部でパラ レルに変換する
    [0361] 5 ディ ジタルデータの読み込み時間とアナログ入力信 号が D /Aコ ンバータすなわち乗箕処理部に到達す るまでの時間を考慮して C S O 2 の立ち上がりを遅 らせているからである。 すなわち、 最初の頭の部分 でズレているのは、 データの呼び出し、 つまり シリ
    [0362] 10 アルデータの読み込み時間が舍まれている。 データ がセ ッ ト し終わるのは D C L Kの立ち上がりから、 しばら く たった時間すなわち W C L Kで 1 6 サイ ク ル後である。 アナログ乗箕の開始時間は C S 0 2が 立ち上がつてから W C L Kで 8 サイ クルたつた後で
    [0363] 15 ある。
    [0364] 第 1 8図ば、 ディ ジタル重みデータの読み込みタ イ ミ ングを示すタイ ミ ングチャー トである。 同図に おいて、 マスタク ロ ック M C L K、 同期信号 S Y N C、 重みクロ ック W C L K、 データク ロ ック D C L
    [0365] 20 K、 実際の重みデータ W D A T Αが示されている。
    [0366] 重みデータ W D A T Aは重みメ モリからビッ ト シリ アルで読み出され、 1 6 ビッ トがシ リ アルに入力さ れる。 Sはサイ ンビッ トで、 B 1 4〜 B 0 までが数 値ビッ トである。 同図において重みデータ W D A T
    [0367] 25 Aの B 8 , B 7 , B 6 の部分が重みク ロ ッ ク W C L 1 Kとの対応として図の下方に拡大された形で表現さ れている。 重みクロ ック W C L Κは周期が 250 nsec でデューティ比 50 %になっている。 W C L Kの立ち 下がりからシーケ ンサ内部にあるア ド レス更新用の
    [0368] 5 カ ウ ンタの伝播遅延時間後に重みメ モ リ にァ ドレス が与えられる。 即ち重みメ モ リ （ R A M ) のビ ッ ト nのア ド レスは重みデータ W D A T Aのビッ ト 7力く . 格納されている重みメ モリ のア ド レスである。 この ア ド レスが確定した後、 t A A時刻後にビ ッ ト 7が
    [0369] 10 読み出されている。 ビッ ト 7からビッ ト 6への変化 は重みク ロ ックの次の周期への変化によつて決まり、 ビツ ト 6 は次の周期で読み出されている。 重みデー タの 1 6 ビッ トは A N Pに入力され、 A N Pに入力 されるアナログ電圧との積が内部の D / Aコ ンバー
    [0370] 15 タによって計箕されるので、 アナログ電圧の入力開 始は、 データクロ ッ ク D C L Kからの立ち上がり力、 らずっと後に入力される。 即ち、 アナログ入力電圧 は入力されてから D Z Aコ ンバータに到達されるま での時藺があるのでその時間とディ ジタル重みデー
    [0371] 20 タが内部にセ ッ トされる時間とを制御し、 重みデー タの到着時間とアナログの到着時間がちよ う ど一致 するようにアナ口グ電圧を入力する必要がある。 例えば、 アナログ入力電圧の立ち上がりは、 重み データの B 7 あたりから立ちあげ、 重みデータの B
    [0372] 25 0が入力され、 その後すベての重みデータが内部で 1 確定した頃にそのアナ口グ値との乗算がスタ一 トす るように時間の制御をとる必要がある。 そして加算 は D C L Kが次にロウになる期間で行われる。
    [0373] A N Pの動作時間は、 S Y N C信号と W C L K、
    [0374] 5 及びデータ D C L Kで規定される。 そしてアナログ 入力電圧は A N Pの入力端子からディ ジタ ル重みデ 一夕と積を実行する D /Aコ ンバータ迄の電圧到達 時間等にかなり の時間誤差があるので、 マージ ンを 見込んで C S I の立上り は D C L Kの立上りより遅
    [0375] 10 れたところから始まることになる。
    [0376] 第 1 9 A図はマスタ コ ン ト ロールブロ ック 1 8 1 の構成図である。 マスタコ ン ト ロールブロ ック 1 8 1 はすべての制御信号を総括する部分である。 主要 な構成要素は外部バスィ ンタ フ ヱ イ ス回路 2 0 0、
    [0377] 15 制御パター ンメ モ リ 2 0 1及びマイ ク ロ プログラ ム シーケ ンサ 2 0 2 とマイ ク ロ コ ー ドメ モ 2 0 3、 ァ ド レス作成部 2 0 4である。 外部バス イ ンタ フ ユ ィ ス'回路 2 0 0 は、 M P U等に接続するためのイ ン タ フ ヱ イ スでア ド レス線 2 0 5、 データ線 2 0 6及
    [0378] 20 び制御信号線 2 0 7 に接続されている。 外部バスィ ンタ フヱイ ス面路 2 0 0 の上位ア ド レス比較面路 2 0 8、 レジスタである D— F F 2 0 9 はそれぞれ M P U等から与えられる上位ァ ド レスをデコー ドし、 上位ァ ド レスが予め定められた番地である場合に、
    [0379] 25 下位ア ド レス とデータをそれぞれ D— F F 2 0 9 , 1 2 1 1にタイ ミ ング面路 2 1 4からのラ ッチ信号を ト リガとしてセ ッ トする。 そのア ドレスとデータは それぞれバス ドライノ 2 1 0 と 2 1 2を介して、 内 部ア ドレスバスと内部データバスを介して内部に入
    [0380] 5 力される。 そのア ド レスはマイ ク ロコー ドメ モリ 2
    [0381] 0 3を参照して、 マイ ク ロコー ドをデータバスを介 して MP U側から書き込む場合等に利用される。 ま た下位ア ド レスはバス ドライバ 2 1 0を介してマイ ク ロコードァ ドレスをマイ クロプログラムシーケン
    [0382] 10 サ 2 0 2にも渡され、 M P U側からの特定なァ ドレ スで制御パターンメ モリ 2 0 1を参照できるよう に している。
    [0383] M P Uあるいは主記憶からのデータはデータ線 2 0 6を介して D— F F 2 1 1にラ ッチされた後、 バ
    [0384] 15 ス ドライノ 2 1 2を介してマイ ク ロコ一 ドメモ リ内 のセパレー ト Iノ 0 R A M 2 1 3あるいは、 制御パ ターンメ モリ 2 0 1内のセパレー ト I /O RAM 2 1 5 ·, 2 1 6に加えられる。 M P U或いはメ モリか らのデータス トローブ信号が制御信号線 2 0 7を介
    [0385] 20 してタイ ミ ング画路 2 1 4に加えられるとァクノ リ ッジ信号を返送する通信方式で、 ア ドレスやデータ の送受信に蘭する制御が行われる。 タ イ ミ ング画路 2 1 4は D— F F 2 1 1 , D— F F 2 0 9へのラ ッ チタイ ミ ングゃ W R信号を介してマイ ク ロコードメ
    [0386] 25 モ リ 2 0 3、 制御パターンメ モリ 2 0 1への書き込 1 みタイ ミ ング等を制御する。
    [0387] 第 1 7図のタイ ミ ングチャー トに示されるような ニューロチップに与える複雑な制御信号の " 1 " , " 0 " ノ、。ターンは、 制御パターンメ モ リ 2 0 1 に 1
    [0388] 5 周期分格納され、 その 1周期分のパターンをマイ ク 口プログラムシーケ ンサ 2 0 2 の制御に従って制御 パターンメ モ リ 2 0 1 から読み出すこ とによって生 成する。 例えばリ セ ッ ト信号 R e s e t 、 デ一タク ロ ッ ク D C L K、 重みク ロ ッ ク W C L K：、 C S 0 1 :
    [0389] 10 C S 0 2 , C S 0 3や S Y N C 1、 S Y N C 2、 S
    [0390] H 1、 S H 2、 0 C 1 , 0 C 2等の制御信号はセパ レー ト I /O R A M 2 1 5から読出され、 パターン に付随する制御情報つま り シーケ ンス制御フ ラグは 第 2 のセパレー ト I /O R AM 2 1 6から読み出さ
    [0391] 15 れる。 例えば制御パターンメ モ リ 2 0 は 1 0 0 0 1
    [0392] 1 0 0 0 1 というパターンが格納されている場合に は、 " 1 ， 0 " ビッ トのパターンであるから、 この " 1·, 0 " ビッ トのパターンを操り返すように制御 パターンメ モ リ 2 0 1 のァ ドレスを制御すれば、 こ
    [0393] 20 のパターンの繰り返しが制御パターンメ モ リ 2 0 1 から読み出されることになる。 すなわち制御信号の パターンは非常に複雑なパターンであるので、 これ らのパターンを予めこのセパレー ト I / O R A M 2 1 5 に格納しておき、 そのセパレー ト I / 0 R A M
    [0394] 25 2 1 5 のア ド レスをマイ ク ロプログラム シーケ ンサ 1 2 0 2の制御に従って指定することによつて順次そ のビッ トパターンを出力する構造になっている。 よ つて、 幾つかの同じパターンを繰り返すことになる ので、 その操り返しをどのように実現するかはア ド
    [0395] 5 レス制御に従う。 この 1周期分のパターンをオリ ジ ナルバターンと呼ぶことにする。 オリ ジナルパタ一 ンを橾り返すためには、 マイ ク 口プログラムシーケ ンサ 2 0 2に制御バターンメ モ リ 2 0 1からの特定 な情報をフ ィードバックする必要がある。 すなわち
    [0396] 10 第 2のセパレー ト I 0 RAM 2 1 6内のシーケン サコ ン ト ロールフラグを条件入力としてマイ ク ロプ ログラムシーケンサ 2 0 2に入力する ことにより、 マイ ク ロプログラムシーケンサ 2 0 2は第 1のセパ レー ト I /O RAM 2 1 5内のオ リ ジナルパターン
    [0397] 15 の入っている先頭ァ ドレスに戻るように制御する。
    [0398] このこ とにより、 オ リ ジナルパターンの繰り返しが 実行される。 すなわち、 マイ ク ロプログラムシーケ ンサ ·2 0 2はその条件が満たされるまで汎用ポート 出力線 2 0 2— 1を介してセパレー ト I /O RAM
    [0399] 20 2 1 5へのア ドレス信号を逐次に生成する。 通常は このァ ドレスはィ ンク リ メ ン ト されるがオリ ジナル パターンの最終になったという条件が満たされると- そのォリ ジナルパターンが格納されている先頭ァ ド レスに戻るようにする。 結果として特定なパターン
    [0400] 25 が橾り返しセパレー ト I / 0 R A Μ 2 1 5から制御 1 パターンが出力される。
    [0401] 第 1 9 B図は、 マスタ コ ン ト ロールブロ ッ ク 1 8 1 を制御するメ モ リ 2 0 1及び 2 0 3 内の情報の相 互閬係である。 同図において、 制御パターンメ モ リ
    [0402] 5 1 が第 1 のセパ レー ト I /O R AM 2 1 5 に相当し、 制御バタ一ンメ モ リ 2が第 2 のセパ レー ト I /〇 R A M 2 1 6に相当する。 マイ ク ロコー ドメ モ リ 2 0 3内には、 シーケ ンサ 2 0 2 の制御コー ドが記億さ れ、 主に、 Jump命令と Repeat命令が格納されている。
    [0403] 10 ァ ド レスの増加方向にみて、 特定なァ ド レスに Repe at命令があり、 こ の反復命令に従う制御パターンメ モ リ 内のパターン 1 の繰り返し数は制御パターンメ モ リ 2 の対応するァ ド レスに格納され、 例えば 「 1 0 」 である とすれば、 1 0 回の反復を実行する こ と
    [0404] 15 になる。 このよ う に して、 ア ド レスが増加し、 マイ ク ロコ 一 ドメ モ リ の Jump命令に来たときに、 マイ ク 口コー ドメ モ リ 2 0 3内の第 2 の Jumpで 500 Hに飛 び、 Pattern 2 を出力する。 Pattern 2を 5 回繰り 返すと、 マイ ク ロコー ドメ モ リ 2 0 3内の第 3 の Ju
    [0405] 20 で、 再び 「100 H」 に飛び、 Pattern 1 を出力す る ことになる。 このよう にして、 オ リ ジナルパター ンが繰り返されて、 制御パターンメ モ リ 1 から読み 出される。
    [0406] こ の制御パター ンメ モ リ 2 0 1 を参照するァ ド レ 25 スの読み出しク ロ ッ クに同期して W C L Kが作られ 1 ており、 重みメ モリ 1 8 5 , 1 8 6から W C L Kに 同期して情報が読み出される。 重みメ モ リ 1 8 5 , 1 8 6へのァ ド レスはァ ド レス作成部 2 0 4 のァ ド レス 1及びァ ドレス 2から出力されるァ ドレス信号
    [0407] 5 によってアクセスされる。 ア ドレス 1 とア ドレス 2 はそれぞれ、 中間層と出力層に対応して分離してい る。 中間層にある AN Pに与えるべき重みデータは ア ドレス 1 によって指定される重みメ モ リ 1 8 5か ら読み出され、 岀カ層への AN Pへの重みデータは
    [0408] 10 ア ドレス 2 によって指定される重みメ モ リ 1 8 6か ら読み出された内容である。 各ア ドレスは重みメ モ リ 1 8 5 , 1 8 6 の内容が重みデータの各ビッ トを ア ドレスが増す方向に 1 ビッ トずつ格納されている ので、 ア ドレスカウ ンタ 2 1 7 , 2 1 8へのカウ ン
    [0409] 15 ト制御信号がマイ ク ロプログラムシーケ ンサ 2 0 2 から与えられる必要がある。 そのア ドレスカウ ンタ 2 1 7 , 2 1 8によってこのア ドレスがバス ドライ バ 2'1 9， 2 2 0を介して次から次へと重みメ モリ 1 8 5 , 1 8 6へのア ドレス信号として、 イ ンク リ
    [0410] 20 メ ン ト して与えられる。 そして複数の重みデータが その重みメ モリ 1 8 5 , 1 8 6から読み出される。 第 1 のセパレー ト I /O R AM 2 1 5から W C L Kとマイ ク ロプログラムシーケンス 2 0 2からの力 ゥ ンタ制御信号がァ ドレス作成部 2 0 内のァ ン ド
    [0411] 25 面路 2 2 1、 2 2 2 に加えられている。 カウ ンタ制 1 御信号がハイ のとき、 W C L Kによ ってア ド レス力 ゥンタは更新され、 W C L Kの 1〜16ビッ トまでは ア ド レスカ ウ ンタ 2 1 7 , 2 1 8 を イ ンク リ メ ン ト する。 そして、 残りの W C L K 17〜26ビッ トに対し 5 ては、 カ ウ ンタ制御信号をロウ とすることにより W
    [0412] C L Kをィ ン ヒ ビ ッ ト と してァ ド レスカ ウ ンタ 2 1 7 , 2 1 8 のイ ンク リ メ ン トを停止する。 そして、 S Y N C 1、 S Y N C 2 に同期して、 それぞれカウ ンタ リ セ ッ ト信号をマイ ク ロ プロ グラ ム シーケ ンス
    [0413] 10 2 0 2からア ン ド面路 2 2 1 , 2 2 2 に送出して、 ア ド レスカ ウ ンタ 2 1 7、 2 1 8 をリ セ ッ トする。 こ の こ とによ り 、 重みメ モ リ 1 8 5 , 1 8 6 のア ド レスを先頭ア ド レスに戻す。 なお、 マスタ コ ン ト 口 ールブロ ッ ク 1 8 1 から出力されるモー ド信号は、
    [0414] 15 重みメ モ リ の通常使用、 すなわち重みメ モ リを M P
    [0415] Uデータバスから切り離し重みデータを A N Pに与 えるモー ドと、 重みメ モ リを M P Uデータバスに接 続し'、 M P Uから重みメ モ リ を参照するモー ドを形 成するためのものである。
    [0416] 20 モー ド信号は、 M P Uからのデータの下位ビッ ト が、 下位ァ ド レスの 1 ビッ ト とタイ ミ ング回路 2 1 4からの書込み信号から W Rをァン ド回路 2 2 3 に て生じるア ン ド信号を ト リガとしてフ リ ップフ口 ッ プ 2 2 4 にセ ッ トされることにより形成される。 こ
    [0417] 25 のモー ド信号が 0 のとき重みメ モ リ は通常使用とな 1 る。
    [0418] 書込み信号 W Rと内部ァ ドレスバスの 1 ビッ トが アン ド回路 2 2 3を介してフリ ップフロ ップ 2 2 4 のク ロ ッ ク端子に入力され、 内部データバスの L S
    [0419] 5 Bがフリ ップフロ ップ 2 2 4 のデータ端子に入力さ れる。 上位ァ ドレスを比較回路 2 0 8 でマスタコ ン ト ロールブロ ック 1 8 1 が選択されているかを判定 し、 選択されている場合、 下位ァ ドレスとデータを D F F 2 0 9 , 2 1 1 に取り込む。 このような、 ィ
    [0420] 10 ンタフヱイ ス動作は M P Uに接続される他のデバィ スに対しても同様に行われるが重みメ モリ は通常 A N Pに対し重みデータを供給しているので、 M P U のデータバスに直接接続するとバス競合が生じる。 これを防ぐために、 内部データバスの L S Bがフリ
    [0421] 15 ップフコ ップ 2 2 4に取り込まれた時はモードを 1 として、 重みメ モ リ を後述するようにチップセ レク ト しないようにして、 重みメ モリからデータバス上 にデータが生じないようにする。 内部ァ ドレスバス が所定タイ ミ ングにおいて、 内部ア ドレスバスによ
    [0422] 20 つて、 マイ ク ロコー ドメ モ リ 2 0 3 と制御パターン メ モリ 2 0 1 のいずれかのア ドレスを指定し、 その アクセスされたァ ドレスに内部データバスから所望 のデータ-を書き込む。 これにより、 マイ クロプログ ラムシーケンサ 2 0 2 やマイ ク ロコー ドメ モ リ 2 0
    [0423] 25 3、 セパレー ト I / 0 R A M 2 1 6 に記億されたプ 1 ログラ ムを変更するか、 セパ レー ト I Z0 R AM 2 1 5に記憶された制御パター ンを変更する。
    [0424] 第 2 O A図はこの重みデータメ モ リ 2 3 0 のデー タ格納構成図である。 同図において列方向の 8 ビッ 5 トは同じア ド レスに入った 8 ビッ トデータの情報で あり、 各ビッ トは下から A N P 1 , A N P 2 · · - A N P 8 に与えられる。 行方向はア ド レスが異なり、 図に示すように左に行く ほどァ ドレスが増加する方 向となっている。 重みデータはサイ ンビッ トを舍め
    [0425] 10 て 1 6 ビ ッ トであるからこれをア ド レスの小さい方 向から大きい方に向かって格納する。 M S Bは、 サ ィ ンビ ッ トで、 それ以外の 1 5 ビッ トは数値ビッ ト である。 マイ ク ロ プロ グラ ム シーケ ンサ 2 0 2から ア ド レスが W C L Kに同期してィ ンク リ メ ン トされ
    [0426] 15 ると、 重みデータの 1 ワー ド分、 すなわち 1 6 ビッ トが M S Bから順に L S Bまで読み出されることに なる。 8個の複数の A N Pに同時にこれらの重みデ ータが渡される。 このようにア ド レスの増加する方 向にデータが格納される構造になっているため、 こ
    [0427] 20 の重みデータに対するア ド レスのカウ ンタが必要と なる。 すなわち、 M S Bから L S Bの重みデ一タデ —タの 1 ワー ド分がカウ ン ト されたら、 1個分の重 みデータになるようにカ ウ ン 卜 される制御が必要と なる。 こ の制御はやはり マイ ク 口 プロ グラ ム シ一ケ
    [0428] 25 ンサ 2 0 2で行っている。 1 第 2 0 B図は重みメ モ リ ブロ ック 1 8 5 , 1 8 6 具体的回路である。 メ モリ 2 3 0 は Μ Β 8 4 6 4 Α — 7 0 という R AMである。 出力は AN P 1 〜 AN P 8に対応する 8 ビッ トである。 基本的に M P Uの
    [0429] 5 バスから見たバス信号線とマスタコ ン ト ロールブロ ック 1 8 1 から見えるァ ドレス 1 と 2のどちらかを 使う。 ア ドレス 1 と 2 は前述した第 1 9 A図のァ ド レス 1 と 2である。 このア ドレス 1 と 2 は W C L K に同期してィ ンク リ メ ン トされる形で入力される。
    [0430] 10 8 ビッ トのデータは同時に読み出され、 各ビッ トは
    [0431] AN P 1〜AN P 8 に対して同時に与えられる。
    [0432] モード信号が 0 のときアン ドゲー ト 2 3 3を介し て、 重みメ モリ 2 3 0 はチップセレク トされ、 この とき、 マイ ク ロプログラムシーケンサ 2 0 2からの
    [0433] 15 ア ドレス 1 , 2がマルチプレクサ 2 3 4で有効とな る。 そして、 重みメ モ リ 2 3 0から重みデータが A N P 1〜 8 に送られる。 一方、 反転酒路 2 3 1 の出 力は、 ノヽィであるから トライ ステー トバス トラ ンシ —バ 2 3 2 はディ スィ ネーブル伏態となつて重みメ
    [0434] 20 モ リ 2 3 0 の出力は M P Uへと出力されない。
    [0435] M P Uに岀力する場合には、 モード信号を 1 にし て、 M P Uからの適当なア ドレス情報によって、 ァ ドレスデコーダ 2 3 5を介してメ モリ 2 3 0をチッ プセ レク ト し、 メ モ リ 2 3 0 に M P Uからア ドレス
    [0436] 25 を与える。 モー ド信号が 1 のとき、 M P Uバスへの 1 読み出しまたはバスからメ モリ 2 3 0への書き込み の制御すなわちリー ドライ トの方向は、 M P Uから ア ン ドゲ一 ト 2 3 6 を介して来るデータ線の読み出 し信号 Read S i gna l によ って決められる。
    [0437] 5 次に学習のアルゴリ ズムについて説明する。
    [0438] 第 2 0 C図は本発明に利用されるバックプロパゲ一 ショ ンという学習アルゴリ ズムのフ ローチヤ一 卜で ある。 学習は次のように進められる。 本発明のニュ 一ラルネ ッ トワークすなわち、 A N Pの集合によつ
    [0439] 10 て構成される階層型ネ ッ ト ワーク の入力に学習すベ き完全情報が M P Uから図示しない入力制御回路を 介して入力される。 そして、 その入力信号は入力側 面路、 中間層及び出力層を介してネ ッ ト ワーク出力 に A " Dコ ンバータを介した後 M P Uに与えられる。
    [0440] 15 M P U側の主記憶内に学習アルゴリ ズムが存在する。
    [0441] M P U内は、 教師信号を主記憶から取り入れ、 ネ ッ ト ワークの出力と教師信号との誤差を調べる。 もし、 その'誤差が大きければ、 M P Uは、 ネ ッ トワーク力く 正しい出力を出す方向に、 ネ ッ ト ワークの接続の強
    [0442] 20 さである重みデータを変えることになる。 この重み データは重みメ モ リ 2 3 0を介して各層の A N Pに 力 Πえられる。
    [0443] 重みデータが学習アルゴリ ズムによって更新され る場合、 第 2 0 C図のバックプロパゲ一ショ ン学習 25 アルゴリ ズムに従う こ とになる。 学習アルゴリ ズム がスター トすると、 M P Uは出力層の L番目のニュ 一ロ ン Α Ν Ρ ι_ の現在の出力 Y と教師信号 と- との誤差を求めてそれを Z l に代入する。 出力 Y L はニューロ ン A N P L の出力であるから、 例えばシ
    [0444] 5 グモイ ド閬数を非線开さ素子として使うならば、 この 非線形関数の出力値として出されたものである。 従 つて、 ニューロ ン A N P L において、 誤差 Z L を非 線形関数の入力側に誤差伝播する必要がある。 誤差 伝播を行う場合、 エネルギー関数、 すなわち誤差信
    [0445] 10 号の 2乗に 1ノ 2を掛けたエネルギー、 すなわち
    [0446] E L = 1 / 2 ( YL - YL ) 2
    [0447] の非線形関数入力 Χι_ に対する偏分、 すなわち
    [0448] 8 E L
    [0449] δ =
    [0450] ax L
    [0451] 15 は次のように変形できる。
    [0452] L a E L a γ
    [0453] δ = -
    [0454] となる。 ここで、 非線形関数 ί ( χ がシグモイ ド
    [0455] 20 関数であるとするならば、
    [0456] 1
    [0457] f ( X L ) = で表される
    [0458] 1 + e -χι- このシグモイ ド関数の微分 f ' ( XL ) を変形す ると、
    [0459] 25 f ' ( X L ) = Y L ( 1 - Y L ) となる。 これはフローチャー トの S 2 に示される VL である。 従って、 すなわちエネルギーの非線形閩 数入力 Χι_ に対する偏分は Vi_ X Z L となり、 すな わち S 2 に示される UL となる。 このエネルギーの 非線形関数入力に対する誤差分 をさ らに中間層へ 逆伝播させる必要がある。
    [0460] 中間層の第 K番目のニューロ ンを Ak とする。 Ak の出力は Yk とする。 出力層のニューロ ン A N P L の非線形関数入力 X Lはすべての中間層にあるニュ
    [0461] 10 一ロ ンの出力 { Y i · · YkMAx} までのそれぞれに 重み WLKを掛けた積和で表現される。 従って、 Xj_ の重み WLKに対する偏分は
    [0462] Θ xL k a
    [0463] = · ∑ WL k Yk = Yk a wL k a wL k k
    [0464] 15 となる。 一方、 エネルギー E L に対する重み WLKの 変分は次式で与えられる。
    [0465] 8EL E L a X L
    [0466] = UL Y ax aw
    [0467] S E
    [0468] となる。 すなわち S 3 の TLKは
    [0469] 20 a wL k
    [0470] を表現しているもので、 エネルギーの重みに対する 偏分である。 従って、 この TLKを重みの変化分厶 W とすればよいが、 収束を早めるために S 4 に示され る第 1式の第 2項を加えて、 次のような漸化式にし
    [0471] 25 て重みを修正する。 1 厶 WL k = orTL k + ^ * AWL ¾
    [0472] WL k = WL k +厶 WL k
    [0473] ここで、 n, orは定数である。 今、 出力層の特定な ニューロ ン AN PL に注目している力く、 この AN PL
    [0474] 5 は中間層のニューロ ンにすべて接続されているもの とするならば、 各 AN PL に対して Kを 1から Kmax まで操り返す必要がある。 これがフローチャー トの R 1に示す操り返しで、 中間層のニューロン数 Kmax だけ繰り返すことになる。 この操り返しが終わると
    [0475] 10 出力層の特定なニューロ ン AN PL に対する逆伝播 が終了することになる。 従ってこれをすベての出力 層のニューロ ン {AN P t , A N P 2 , · · A
    [0476] Ν Ρ L ma x } に対して行う必要があるため、 フロー チャー トの R 2に示すように、 Lを 1力、ら Lmax ま 15 で繰り返すことになる。 すなわち、 最終出力層の二 ユーロ ンの数 Lmax だけ繰り返すことになる。 , 次に今度は中間層から入力層に向かって学習する ことになる。 アルゴリ ズムはほぼ同様であるが、 誤 差信号は教師信号と出力電圧との差で表現できず、 20 S 5の式になる。 すなわち、 Zk が中間層の K番目 のニューロ ン、 Ak の出力誤差信号に対応する項と なる。 これは次式によって明らかである。
    [0477] aE L ax E
    [0478] 一∑ ∑ ∑ wLk Yk
    [0479] X L Y ax ay
    [0480] 25 一 ∑ WLK = ∑ WLK · U
    [0481] L 3XL L
    [0482] となる 従って、 S 5 の Z k のイ ンデッ ク ス し 対して 1 から L まで、 すなわち出力の数だけ '木
    [0483] 5 り返す （ R 3 ) こ とによ つて中間層の誤差信号分 Z k が計算される。 その後は中間層と出力層との間のァ ルゴリ ズムと同じである。 すなわち、 まず、 シグモ ィ ド関数の微分値 V K を出し、 それを用いて U K 、 すなわちエネルギーの非線形関数入力に対する変化
    [0484] 10 分を S 6で求める。 S 7でその U K を用いて入力層 の出力、 Yj との積 Tk j を求める。 これを重み変 化分の主要部として、 S 8 に示すように収束を早め るための第 2項を加えて、 Δ W k j を求め、 前の値 W k α· にその厶 W k i を加えて新たな W k j とする。
    [0485] 15 これが重みの更新である。 この重みの更新を入力数
    [0486] J max だけ繰り返す （ R 4 ) 。 すなわち j = 1 から j max まで繰り返すこ とによって入力層と中間層の 間の'重みが更新されるこ とになる。 なお、 S 5 の Z k は中間層の出力の誤差信号に対応するものであって、
    [0487] 20 これは出力層のエネルギーの関数入力値に対する変 分 uL を後ろ向きに逆伝播した形で表現され、 wLK 一 は中間層と出力層との重みが定まって初めて定まる ものである。 すなわち重みの更新に対する計算は出 力層のニューロ ン Α Ν Ρ ι_ から始めて中間層のニュ 25 —ロ ン A N P K に移り、 中間層のニューロ ン Α Ν Ρ Κ 1 ではその重み変化分 A Wはその前段の Δ が決まら ないと計算できないものとなっている。 従って最後 の入力層まで遡って始めて計箕が可能となるところ からこの学習はバックプロパゲーショ ンと呼ばれて
    [0488] 5 いる。
    [0489] バックプロパゲーショ ンによる学習は学習用のデ ータを完全情報として入力し、 結果を出力する前向 き動作とその結果のエラーを小さ くするようにすベ ての結合の強さを後ろ向きに変えることになる。 そ
    [0490] 10 の為、 この前向き動作も必要となる。 この前向き動 作において本発明のアナログニューラルネ ッ ト部が 有効に利用される。 また、 出力値を逆伝播するアル ゴリ ズムは M P Uで実行される。 なお、 シグモイ ド 蘭数でない非線形である場合には、 その非線形の微
    [0491] 15 分値が異なる。 例えば tanh ( x ) であるならば学習 アルゴリ ズムは第 2 0 D図のように、 非線形の微分 結果は、 出力層では V L = 1 — i Y L 1 となり （ S 2 ' ·) 、 中間層では V k = 1 - I Y k ( ( S 6 ' ) となる。
    [0492] 20 その他は、 第 2 0 C図と同じ参照符号をつけて說 明を省略する。
    [0493] 第 2 1図は入力側のディ ジ一回骆 1 7 3 , 1 7 4 の構成図である。 図中 2 4 0 , 2 4 1 , 2 4 2 は D タイ プのフリ ップフロ ップである。 D C L K信号の
    [0494] 25 立ち上がりで D端子に入力されるデータをセ ッ ト し 1 出力 Qを 1 の状態にする。 第 1 のフリ ップフロ ップ 2 4 0 は、 D C L Kの立ち下がりで、 C S I 信号を セ ッ トする。 そして、 次の立ち上がりで第 2番目の フ リ ップフロ ップ 2 4 1 にその出力信号をセ ッ トす
    [0495] 5 る。
    [0496] その出力は第 3番目のフ リ ップフ口 ップ 2 4 2 の D端子に入力されている。 その入力をセ ッ トするク ロ ック信号は 4 ビ ッ ト カ ウ ンタ 2 4 3 の出力である < カウ ンタ 2 4 3 は W C L Kの立ち下がりで ト リガさ
    [0497] 10 れる。 ク リ アされるのは D C L Kの立ち下がりであ る。 従って、 D C L Kの立ち下がりにカウ ンタ 2 4 3 はオール 0 となり、 W C L Kの立ち下がりが 8回 入力された後、 上位ビ ッ ト の Q D信号がハイ となる ので、 これが ト リ ガとなってフ リ ップフロ ップ 2 4
    [0498] 15 2 は C S 〇にハイ信号を出力する。 フリ ップフロ ッ プ 2 4 1 の出力が 0 になれば C S 0はク リ アされる c このような動作により、 C S I が立ち下がって、 W Cじ Kの 8パルス分に相当する所定な時間通過した のち C S Qが出力されるというディ ジー勳作が行わ
    [0499] 20 れる。
    [0500] 第 2 2図はダミーノ ー ドのニューロ ンを形成する マ ッ ク スバリ ューノー ド回路 1 8 7 の具体的回路図 である。'同図において抵抗 2 5 0、 ッヱナ一ダイ ォ ー ド 2 5 1、 2 5 2、 抵抗 2 5 3、 電圧フ ォ ロア 2
    [0501] 25 5 4、 2 5 5 は一定電圧を形成する回路である。 抵 1 抗 2 5 0、 2 5 3 とツエナーダイオー ド 2 5 1、 2 5 2を介して + 1 2ボルトから一 1 2 ボル トに電流 が流れると電圧フォロア 2 5 4、 2 5 5 の入力には、 それぞれ + 7 ボル ト と一 7 ボルトが形成される。 こ
    [0502] 5 れらの電圧は電圧フォ 口ァ 2 5 4 , 2 5 5 の出力抵 抗 2 5 6を介して出力される。 この 2つの一定電圧 を時分割で引き出すようにアナログス ィ ツチ 2 5 7 〜 2 6 4を用いて制御する。 Tモードの信号が 0 の 時、 その一定電圧はアナログスィ ツチ 2 5 7 を介し
    [0503] 10 て次の電圧フォ ロア 2 6 5 に与えられる。 Tモー ド が 1すなわち、 テス ト モードの時にばアナログスィ ツチ 2 5 8 によってその出力はアナロググラン ドに 抑えられるため、 0 ボル トが電圧フォ ロア 2 6 5 に 入力される。 テス トモードでは、 バス上のオフセ ッ
    [0504] 15 トが M P Uに通知されることになる。 電圧フォ αァ
    [0505] 2 6 5 は、 出力部のスィ ツチ制御によってイ ネーブ ルされる。 出カイ ネーブルが 1 のとき、 アナログス ィ ツチ 2 6 0がォンで電圧フォ ロアとして働き、 そ の出力が与えられるが、 この時、 ダミーノード出力
    [0506] 20 には出力されない。 逆に出カイ ネーブルが 0 の時に ダミーノー ド出力に出力される。 アナログスィ ッチ 2 6 0 とその出力のスィ ツチ制御は出カイ ネーブル 1 または 2によって制御され、 0 イ ネ一ブルである, すなわち出カイ ネーブル 1 または 2が 0 の時にダミ
    [0507] 25 一ノ ー ド出力に一定電圧が出力される。 なお、 ダミ 1 一ノ ー ド出力は上側が入力層のダミーノー ド用であ り、 2番目が中間層のダミーノー ド用の出力である このダミーノ ー ドの出力電圧は適当な値に固定され るため、 ス レ ツ シュホ一ル ド電圧と して使用可能と
    [0508] 5 なる。 なお、 ツエナーダイオー ド 2 5 1 , 2 5 2 は 逆バイ アス状態で一定の電圧を出すものであり、 固 定電圧は、 + 7 ボル トから一 7 ボル トまでの範囲で 可変できるようにしている。 出カイ ネーブル 1 , 2 はアナログバスにつながつている他の A N Pからの
    [0509] 10 出力電圧とそのアナログバス上で衝突を避けるため にマスタコ ン ト ロールブロ ッ ク 1 8 1 からのダミー ノ一ド制御信号 D C Sでィ ネーブル状態が決められ ている。
    [0510] 第 2 3図は非線型関数発生回路であり、 第 4図， 15 第 2 5図、 第 2 6図は A N P内部のディ ジタルロ ジ ッ ク側のハ ー ドウエアである。
    [0511] 第 2 3図はシグモイ ド関数を実現する ト ラ ンジス タ回路網である。 こ こでいぅ シグモイ ド関数とは連 続で単調非減少な関数を指し、 かつ線型閩数を特に 20 除外するものではない。 同図において 3 4 3 , 3 5
    [0512] 6 , 3 7 8 , 3 9 0 , 2 9 8 , 3 1 4 の ト ラ ンジス タとそれに対になった ト ラ ンジスタで差動増幅器を 形成し、 'コ レクタ側に接続された ト ラ ンジスタ群が それぞれカ レ ン ト ミ ラー回路である。 差動 A N Pの 25 左側の ト ラ ンジスタのコ レクタを流れるコ レク タ電 1 流が出力電流である。 カ レン ト ミ ラーで電流の方向 を変えて出力している。 電流は出力 V 0 に接続され ている抵抗 3 3 6 にはいる。 抵抗 3 3 6 によって電 圧が電流に変えられる。 ドライ ブ能力がないため、
    [0513] 5 出力にはハイ イ ンピーダンスのオペア ンフ'バッ ファ で受ける。 ト ラ ンジスタ 3 3 7 , 3 3 9 より入力側 の面路はバイ アス面路である。 シグモイ ド関数を実 現するために区分線形法を使っている。 シグモイ ド 関数の各区分の傾きはエ ミ ッタに接続されたエミ ッ
    [0514] 10 タ抵抗 3 4 と出力抵抗 3 3 6 の比によって決めら れる。 この時ト ラ ンジスタ 3 4 3等のエ ミ ッタ抵抗 も舍まれる。 各差動 A N Pのゲイ ンは異なる。 各区 分線形の移り変わりに対するブレイ ク ポイ ン トは飽 和特性を利用している。 その飽和特性はすべて異な
    [0515] 15 る。 V 0 の出力点において、 各オペア ンプから出力 される電流の総和の値がシグモイ ド関数になるよう に各 A N Pの飽和特性を変えている。 ト ラ ンジスタ
    [0516] 3 4 5 と抵抗 R 1 は電流源である。 ト ラ ンジスタ 3
    [0517] 4 6 と抵抗 R 2、 ト ラ ンジスタ 3 5 3 と抵抗 R 3等 20 はすべて同じ電流を供給する電流源である。 すなわ ち、 電流値は同じになるように抵抗が決められてい る。 すべて同一電流源である。 ト ラ ンジスタ 3 4 5 3 4 6 のコ レクタは接続されているので、 和の電流 が抵抗 3 4 4、 3 4 7 の交点に流れる。 ト ラ ンジス 25 タ 3 4 3 , 3 4 8 のコ レクタ電流は、 ノ、 'ラ ンスした 1 時点では同じになる。 ト ラ ンジスタ 3 5 1 はカ レン ト ミ ラーの特性をよ く するためのものである。 ト ラ ンジスタ 3 5 0 はダイ オー ド接続である。 電流の向 きを変える という こ とは出力に対して、 電流を引つ
    [0518] 5 張り こむ場合と電流を外に出す場合がある。 同図に 示すよ う に、 カ レ ン ト ミ ラ ーの ト ラ ンジスタ 3 5 1 のコ レクタからは出力に向かって電流が流れる。 下 側の ト ラ ンジスタ配列は沢山あるが、 ェ ミ ッ タ とコ レクタが同じ点に接続されている ト ラ ンジスタは同
    [0519] 10 じ ト ラ ンジスタである。 例えば ト ラ ンジスタ 3 5 8 - と 3 6 0 は同じ ト ラ ンジスタ でこれは ト ラ ンジスタ 3 4 5 と同じものである。 また 3 5 9 と 3 6 1 も同 じ ト ラ ンジスタで これは 3 4 6 に対応する。 3 6 8 , 3 6 9 の ト ラ ンジスタ は同じであり、 これは 3 5 3
    [0520] 15 に対応する。 以下、 同様である。 したがって、 同じ 電流で駆動される定電流電源を有するオペア ンプが 出力電圧の正負に従って電流の向きが異なるような 動作を行う ものが全部で 6個ある回路である。 また、 ト ラ ンジスタ 3 3 7 , 3 3 8 はレベルシフ ト であ り 、
    [0521] 20 3 3 0 と 3 2 7 も レベルシフ ト である。 レベルシフ ト面路はシグモィ ド関数の正と負で動作範囲がほぼ 同じになるよ う にするためのものである。 ト ラ ンジ スタ 3 5' 2 は ト ラ ンジスタ 3 5 1 のコ レク タ電流と ト ラ ン ジスタ 3 5 3 のコ レ ク タ電流が等し く なる た
    [0522] 25 めの補正用のものである。 ト ラ ンジスタ 3 6 7 , 3 1 8 5 , 2 8 7 , 3 0 7 も同様である。
    [0523] 第 2 4図は、 ニューロチップ内に供給するパルス 信号の形成するためのシーケンスジェネレータ 2 8 (第 5図） の具体回路である。 4 0 1 と 4 0 2及び
    [0524] 5 4 0 4 と 4 0 5 はイ ンバータで、 各イ ンバータはク ロ ック用のィ ンバ一タである。 フリ ップフロ ップ F . Fのラ ッチ信号の立ち上がり用と立ち下がり用とに 分けてク ロ ックを作っている。 同図のフリ ップフロ ップは立ち上がり ク ロ ックでラ ッチするもので、 ィ
    [0525] 10 ンバータと F . Fで立ち上がり ラ ッチの F . Fを形 成する。 例えば D C L Kでは、 ィ-ンバータ 4 0 1を 1個通ったものが立ち下がり ラ ツチ用のクロ ック信 号となる。 そしてィ ンバータ 4 0 2を通ったものが 立ち上がり ラ ッチ用のク ロ ック D C L Kとなる。 同
    [0526] 15 様にィ ンバータ 4 0 4 の出力が立ち下がり用の W C
    [0527] L Kでイ ンバータ 4 0 5 の出力が立ち上がり用ク ロ ック W C L Kである。 F . F 4 1 0 において、 S Y N C信号を D C L Kの立ち下がりがラ ッチしている F . F 4 1 0 と 4 1 5で S Y N C信号を D C L Kの
    [0528] 20 1 サイ クル分遅らせ、 S N C 2信号を作って、 S Y
    [0529] N Cとその 1 ク ロ ッ ク遅れた信号とで 1 て のパルス を作っている。 S Y N Cが立ち上がった後の 1 て ( D C L' Kの 1周期） のパルスで A N P内の積分用 コ ンデンサの放電を行う。 すなわち C R S Tという
    [0530] 25 信号がそのコ ンデンサのリ セ ッ ト信号である。 もう 1 1 つの D S H 2 は S Y N Cの立ち下がりから D C L Kの 1 て分の長さをとつたパルスであって、 これが A N P内のサンプル/ホール ドのコ ンデンザに対す るサ ンプルノホール ド信号となる。 4 1 1 の F . F
    [0531] 5 ではク ロ ッ クが W C L Kで、 データが D C L Kであ るから、 W C L Kで D C L K信号をラ ッチしている , その後ナン ドゲー ト 4 1 4 で S Y N C信号がハイ に なっていて、 かつ D C L Kがハイ という状態で最初 にきた W C L Kを ト リ ガして F . F 4 4 3 のク ロ ッ
    [0532] 10 クにしている。 ナ ン ドゲー ト 4 1 4 とイ ンバータ 4
    [0533] 4 0でア ン ドとなる。 F . F 4 4 3 において、 S Y N C信号がハイ になっている状態で最初にきた W C L Kという信号がディ ジタル重みデータすなわち W Dの符号ビッ トを取り込むでいる。 ごの信号はシリ
    [0534] 15 アルに入って く る重みディ ジタルデータの M S B、 すなわち符号ビッ トである。 すなわち F . F 4 1 1 とア ン ドゲー ト （ 4 1 4 , 4 4 0 ) のタ イ ミ ングで 符号ビッ トを F , F 4 4 3がラ ッチする。 4 ビッ ト の 2進カウ ンタ 4 1 6 は W C L Kのパルス数をかぞ
    [0535] 20 える。 1 6 ビッ トのディ ジタル重みデータが入って く るので 1 6面数える。 数え終わったところで、 出 力がハイ となり、 イ ンバータ 4 2 3 に入る。 この信 号は 1 6·個カ ウ ン ト し終わったことを指示する信号 である。 この信号はシ リ アルに A N Pに入ってきた
    [0536] 25 重みデータをシフ ト レジスタ 2 7 (第 5図） に入れ 1 る制御等に使われる。 またカウ ンタ 4 1 6 の最下位 ビッ トはィ ンバータ 4 2 2 に入力される。 このィ ン バータ 4 2 2 の出力は C S 0信号を生成する。 C S 0はデイ ジ一チュー ンの制御信号であって、 アナ口
    [0537] 5 グパス B 1 において、 前段の 2つの AN Pから出さ れる信号の競合を防ぐため、 前の時刻の C Sが落ち た後、 次の C Sを出すようにデイ ジ一勣作を実行す るためのディ レイ画路を形成する必要がある。 この ディ レイ の遅延時間は W C L Kをカウン ト し、 その
    [0538] 10 カウ ンタ値で形成している。 カウ ンタ 4 1 6 のカウ ン トが終わり、 フリ ップフロ ップ 4 3 3 にその終わ つたという指示の信号がィ ンバータ 4 2 3を介して ラ ッチされるが、 これは W C L Kでたたいている。 すなわち 1 7個目の W C L Kでたたいている。 イ ン
    [0539] 15 バータ 4 3 7 と 4 3 8 を通して、 ラ ッチされた信号 がカウンタ 4 1 6 に戻り、 カウ ンタ 4 1 6 のイ ンク リ メ ン ト動作をこれ以上させないようにデイスイ ネ 一ブルの制御を行っている。 イ ンバータ 4 3 8の出 力がロウになると、 カウンタ 4 1 6 はカウ ン トが停
    [0540] 20 止する。 F . F 4 3 3 の の出力はフリ ップフロ ッ プ 4 4 2 に入っている。 これがシフ ト レジスタ 4 0 8の出力のゲー ト—信号になる。 すなわち、 1 6個の ディ ジタ'ル重みデータが入って く るのをシフ ト レジ スタ 4 0 8で順々にシフ ト し、 符号ビッ トを除いた
    [0541] 95 数値ビ ッ ト の 1 5 ビッ ト のデータをノ、。ラ レルに並べ たところでこれらを出力する。 シフ ト している間は 出力は出ないようにし、 全部入ったところで出力す るためのゲー ト信号が W Rである。 シフ ト レジスタ
    [0542] 4 0 8 の内容は A N Pの掛算器に与えられる。 F .
    [0543] 5 F 4 3 3から出力される信号は、 分岐されてシフ ト レジスタのィ ネーブル信号に使われる。 F . F 4 4 2 は F . F 4 3 3 の出力を立ち上がりでラ ッチする ものである。 W C L Kの 1 6個の立ち下がり ラ ッチ でシフ トが完了し、 その後ゲー トを開く のに立ち上
    [0544] 10 がり ラ ッチでもよいが、 立ち下がりで行っている。
    [0545] F . F 4 1 2 はシグモイ ド関数の選択用のパルス信 号を作るものである。 F . F 4 1 2を使ってリ セ ッ ト信号がはいった時点で、 W D、 すなわち重みディ ジタル入力信号が 0か 1 によってシグモイ ドを使う
    [0546] 15 か使わないかを選択する。 この方法は本システムで 使用されない場合もある。 実際はシグモイ ド選択信 号は、 外部から直接形成する。 下の面路はデイ ジ一 チェーン回路である。 カウ ンタ 4 1 6 の出力を F . F 4 3 4でディ レイ を作り、 そのディ レイ で最後の
    [0547] 20 F . F 4 4 5を ト リ ガを掛けている。 このこ とによ り、 D C L Kの 1 て分ズラ した上に、 そのままズラ すのではな く、 頭をおとすようにしている。 すなわ ち C S レ信号それ自身は D C L Kの 1 周期分はない こともあり、 その C S I を C S Oにするためには C
    [0548] 25 5 I に対して、 最初の、 例えば、 2 マイ ク ロ分を削 1 つて波形の前を遅らせ、 後ろはそのまま信号を作つ ている。 ゲー ト 4 2 5 と 4 2 7は C S I のバッファ ゲー トである。 正のノ ツ フ ァ とィ ンバータノ ッファ である。
    [0549] 5 第 2 5図はサンプル/ホール ド S /H信号と、 0
    [0550] C信号を形成する位相制御回路 2 9 (第 5図） であ る。 S /H信号はイ ンバータ 5 1 5 に入るものと、 ゲー ト 5 2 4に入るものと別れている。 O C信号も 同様である。 S ZH信号がゲー ト 5 2 4 とイ ンバ一
    [0551] 10 タ 5 1 5 に別れ、 ンバータ 5 1 5経由でゲー ト 5
    [0552] 2 5 に入るとその後はィ 'ンバータが 8段ある。 H信号に対してそのままの位相と逆位相の 2通りの 信号を作っている。 これはイ ンバータを数段分カス ケ一 ドに結合し、 たすきがけすることにより 2つの
    [0553] 15 出力が同時に 1 になることを避けている。 すなわち- サンプル Zホール ド S Z H信号の 2つ、 S / H 0 と S /H 1 を形成し、 それが雨方とも 1 にならないよ うにするようにしている。 すなわち、 イ ンバータチ ニーンは S ZH信号の両方が苘時オ ンを避けるため
    [0554] 20 のディ レイ回路である。 ディ レイ の遅延時間はイ ン バータチェーンの長さによって决まり、 片方がオン になってから数段分遅らせ、 もう片方をオ ンにして いる。 S'/H D 0 と S ZH D 1 に関しても同様であ る。 0 C信号に関する面路も基本的には同じである 25 が、 それは C R S T信号がゲー ト 5 2 8 と 5 2 9 に 1 入っているので、 C R S Tが 1 の場合には強制的に 両方出力を 1 にする。 O C 0 と O C 1 の両方共、 同 時に 1 になる こ とを避けているが、 〇 Cの場合は C R S Τが 1 の場合だけ同時に 1 になるよ う にしてい
    [0555] 5 る。 このこ とにより、 アナログスィ ッチの制御を介 して積分器のコ ンデンサの電荷を放電する という リ セ ッ ト機能を実現している。
    [0556] 第 2 6図は 1 5 ビッ トのシフ ト レジスタ 2 7 (第 5図） である。 ゲー ト 6 0 2 と 6 0 3及び 6 0 1 4 、
    [0557] 10 そして F . F 6 2 7 で 1 ビッ トに相当 し、 これを使 つて説明する。 ゲー ト 6 0 3 には、 前の時刻の出力 が入力されているもので、 これは F . F 6 2 8 の出 力である。 前のビッ トからの入力という こ とで、 シ フ ト用のデータ信号となる ゲー ト 6 0 3 に入って
    [0558] 15 いる他の信号は S H F T、 すなわちシフ ト信号のィ ンバータである。 これはシフ ト制御信号で、 これ力 有効のとき， シフ トの指示を行う こ とになる。 また ゲー ト 6 0 2 には F . F 6 2 7 そのものの出力が入 つている。 これは自分自身の出力をフ ィ ー ドバッ ク
    [0559] 20 している こ とになる。 ゲー ト 6 0 2 の他の入力には
    [0560] S H F T信号のィ ンバー 卜が同じよ う に入っている が、 この位相はゲー ト 6 0 3 に入っている ものと異 なる。 ごれにより シフ トが無効の時に、 今の出力を そのまま保持する こ とになる。 ク ロ ッ ク信号はシフ
    [0561] 25 卜 と無関係に常時入って く るので、 ク ロ ッ クが入つ 1 てもシフ トが有効でなければシフ ト は行わない。 シ フ ト信号 S H F Tが有効の時だけ前のビッ トをシフ ト し、 ゲー ト 6 0 3を通って入力することでシフ ト 動作となる。 W R信号はゲ一 ト 6 3 2、 6 3 3等の 5 ア ン ドに入っている。 これは各ビッ ト の出力を出す か出さないかの選択信号となり、 乗箕器の方にシフ ト レジスタに格納されたデータをわたすかどうかの 制御信号となる。 また、 ファ ンアウ トをとるために, 例えばィ ンバータ 6 2 0 によって 1 5偭のう ち 5個 10 の F . Fの リ セ ッ ト信号そして、 ゲー ト 6 2 6 で 1
    [0562] 0個の F . Fのリセッ ト信号を受け持つようにして いる。 フ ァ ンァゥ トのシフ ト レジスタ 6 0 8 はシフ トイ ネーブル S H F Tと出力のイネ一ブル W Rの機 能がついている。
    [0563] 15 次に、 本発明に係るニューロコ ンピュータを帰還 型ネッ トワークで構成した場合について説明する。
    [0564] 第 2 7 A図は帰還型ネ ッ トワークの概念図である, 帰還型ネ ッ トワークの場合にも、 基本的には入力 が存在するが、 自分が出力した信号も帰って く ると 20 いう帰還路をもった構造となる。 この帰還方式ば、 階層型ニューラルネッ トワークにおける 1層を時分 割多重使用するタイ プとして利用される場合と、 ま たいわゆ 'るホ ップフィ 一ルド型のニューラルネ ッ ト ワーク として利用される場合がある。
    [0565] 25 前者の場合、 A N Pの入出力信号は、 時分割であ 1 るので、 各 A N P の出力点ではある一定のシーケ ン スサイ クル毎にその同じ A N Pの出力データが逐次 に出力されて、 1 つシーケ ンスサイ クルごとに階層 型ニューラルネ ッ ト ワークの入力層、 中間層、 出力
    [0566] 5 層として順次動作する。 後者の場合、 A N Pの出力 が特定の値になるまで、 つま り安定するまで、 出力 電圧が帰還される。 帰還している結果を出した時に、 その結果が前のデータ、 つまり 自分が前に出したデ ータ と一致するまで、 状態が繰り返され、 安定解に
    [0567] 10 達すれば収束となる。
    [0568] 本発明の実施例によれば、 第 2 7 B図に示される ように、 帰還路を共通アナログバス C Bで実現する ことになり コの字型の帰還部が存在する。 そして 1 個自分が計算して出したものが出力され帰還路を通
    [0569] 15 じて各 A N Pからの出力がフ ィ ー ドバッ ク されるこ とになる。 この帰還動作を繰り返してい く 。
    [0570] 第 2 8図においては帰還型ネ ッ トワークの第 1 の 実施例構成図である。 同図において、 1 2 1 は処理 層を構成する複数個の基本ユニッ ト 1 である。 これ
    [0571] 20 らの基本ユニッ ト 1 2 1 は、 同様に、 乗算部 1 2 2、 累算部 1 2 3、 閾値部 1 2 4 を有し、 場合によって 出力保持部 1 2 5 を備える。 そして、 同様に、 この 基本ュニ ッ ト 1 2 1 の入出力もアナログ信号をもつ て実現されるよう構成される。 各基本ュニッ ト 1 2
    [0572] 25 1 の出力部とすべての基本ュニッ ト 1 2 1 の入力部 1 との間でアナログバス 1 4 1 , 1 4 2 , 1 4 3を介 して電気的な接続がなされ、 且つこの各接続に対応 して設定されることになる重みにより、 等価的に階 層ネ ッ' トワークが構成され、 あるいはホップフ ィ 一
    [0573] 5 ル ド型ネッ ト ワークが搆成される。
    [0574] 1 2 はアナログバスであり、 帰還ライ ンを構成 する出力部と入力部との間の電気的な接続のために 設けられる共通線である。 主制御面路 1 5 0 は、 駆 動ュニッ ト選択手段 1 5 1、 重み設定手段 1 5 2、
    [0575] 10 閾値処理起動手段 1 5 3及び岀カ値送信手段 1 5 4 から構成され、 データ転送を制御する。
    [0576] 駆動ュニッ ト選択手段 1 5 1 は、 基本ュニッ ト 1 2 1 を時系列的に順次選択するよう処理する。 そし て、 出力値送信手段 1 5 4 は、 この選択処理と同期
    [0577] 15 させて、 選択された基本ュニッ ト 1 2 1 の出力の保 持部が保持するアナログ信号の最終出力を、 アナ口 グバス 1 4 2を介して、 時分割の送信形式に従って すべての基本ュニッ ト 1 2 1 の乗算処理部 1 2 2に 対して帰還するよう処理する。 この入力を受け取る
    [0578] 20 と、 各基本ュニツ ト 1 2 1 の乗箕部 1 2 2 は、 重み 設定手段 1 5 2 により設定されるところの各接続に 対応する重みを順次選択して、 入力と重みとの乗箕 処理を行い、 加箕部 1 2 3 は、 乗算部 1 2 2 により 求められる乗箕結果を順次累算していく。 処理層の
    [0579] 25 基本ユニ ッ ト 1 2 1 に蘭してのすべての累箕処理が 1 終了したことを確認すると、 閾値処理起動手段 1 5 3 は、 基本ュニッ ト 1 2 1 の閾値処理部 1 2 4を起 動して閾値の一定電圧を加えシグモイ ド関数の計算 を行うよう に制御する。
    [0580] 5 そして、 この処理を予め定められた回数だけサイ ク リ ッ ク に繰り返してい く こ とになる。 このデータ 転送方式により、 例えば、 入力パターンに対応する ところの出力パターンが、 層の時分割多重化による 階層ネ ッ ト ワークの出力として得られる。
    [0581] 10 すなわち、 この実施例は、 単一層で構成される本 発明のネ ッ トワーク構成データ処理装置を開示して いる。 この実施例では、 多層構造のネ 'ン ト ワーク構 成データ処理装置を単一層構造のものにするために、 共通線のァナ口グバ'ス 1 4 2 を設けるよう構成し、 15 このアナ ログバス 1 4 2 力 、 単一層をなす基本ュニ
    [0582] 'ン ト 1 2 1 の出力を入力に帰還してい く ことで、 各 基本ュニッ ト 1 2 1 の出力がすべての基本ュニッ ト
    [0583] 1 2 1 の入力部に接続されることになるようにと構 成するのである。
    [0584] 20 次に、 第 2 9 A図に示すタイ ミ ングチャー トに従 つて、 このように構成される第 2 8図の実施例の動 作処理について説明する。
    [0585] 出力パターンへの変換要求があると、 主制御回路
    [0586] 1 5 0 は、 入力側回路 1 2 0 に対して C S I の制御 25 信号を時系列的に送出するこ とで、 複数の入力側回 1 路 1 2 0 を順次、 時系列的に選択してい く よう処理 する。 第 2 9 A図に、 この選択処理を図示する。 こ のよう にして選択される入力側面路 1 2 0 は、 アナ ログバス 1 4 3上に、 入力パターンとして与えられ
    [0587] 5 たアナログ信号 Y i を時系列的に送出するよう処理 する。 従って、 第 2 9 A図に示すように、 アナログ バス 1 4 3上に、 アナログ信号 Y i が、 入力側回路 1 2 0 の個数分順序よく送出されるこ とになる。 第 2 9 B図のタイ ミ ングチャー トに示すよ う に、
    [0588] 10 各基本ュニッ ト 1 2 1 の乗箕部 1 2 2 は、 この送出 されてく るアナログ信号 Y i を受け取ると、 主制御 回路 1 5 0からセ ッ トされることになる重み保持部 8 の重み W i を使って乗算処理を実行することにな る。 繞いて、 各基本ュニ ッ ト 1 2 1 の累箕部 1 2 3
    [0589] 15 は、 入力側回路 1 2 0 の選択毎に求められてい く こ とになる乗箕結果を順次累算し、 すべての入力側回 路 1 2 0 の選択が終了することですベての累算処理 を終了すると、 各基本ュニッ ト 1 2 1 の闞値部 1 2 4が基本ュニッ ト 1 2 1 の最終的な演算出力である
    [0590] 20 最終出力値 Yを求める処理を行う こ とになる。
    [0591] このよう にして求められる最終出力値 Yは、 内部 で保持される。 そして、 続いて、 各基本ュニッ ト 1 2 1 の出力スイ ッチ部 3 6が主制御回路 1 5 0 より C S I としての出力制御信号を受けると順次、 時系
    [0592] 25 列的に 0 N してい く こ とで、 アナ口グバス 1 4 2 を 介して、 この保持されている最終出力値のアナログ 信号が、 基本ュニッ ト 1 2 1 の乗算部 1 2 2 に帰還 される ことになる。 この処理により、 等価的に、 入 力層の基本ュニッ ト 1 2 1 の最終出力値が、 中間層 の基本ュニッ ト 1 2 1 に対して時分割の送信形式に 従って送信されることになる。 以下、 同様の処理を 基本ュニッ ト 1 2 1 に繰り返してい く こ とで、 出力 層に相当する最終出力値 Yが求められることになる < 第 2 9 A図に、 入力側面路 1 2 0 への Y i 出力制御 信号と対応させて、 基本ュニ ッ ト 1 2 1 への出力制 御信号のタイ ミ ングチャー トを示すとともに、 アナ ログバス 1 4 2上の最終出力値 Yのアナログ信号の タイ ミ ングチヤ一トを示すことにする。
    [0593] この第 2 8図の実施例は、 階層ネ 'ン ト ワークに対 して連続的に入力パターンを入力できないという欠 点はある ものの、 階層ネ ッ ト ワークが単純にできる ので、 チップ化する際に極めて微小にできるという 長所がでて く る こ とになる。
    [0594] 第 3 0図は本発明のニューロコ ンピュータを階層 型ネ ッ ト ワーク と して動作する帰還型ネ ッ ト ワーク によって実現した実施例である。 アナログ入力ポー ト 1 , 2からの時分割ァナ口グ入力信号に対して A N P 1 , 2 , 3 において積和演算を行い、 A P 1 , 2 , 3 を中間層として動作させ A N P 1 , 2 , 3 か らアナログバス B 2 に時分割出力し、 この出力信号 1 を帰還路であるアナログコ モ ンバス C Bを介してァ ナログバス B 1 に帰還し再びこの帰還信号に対して A N P 1 , 2 , 3で積和演算を行う ことにより、 A N P 1 ; 2 , 3を出力層として動作させるこ とによ
    [0595] 5 り、 一層の A N P 1 , 2 , 3 により階層型ネッ トヮ 一クを実現したものである。 マ ッ クスバリ ューノ ー ド面路 1 8 7 はマスタ コ ン ト ロールブロ ッ クの D C S出力を受けてアナログバス B 2にダミー信号を生 ずる。 そしてマスタ コ ン ト ロールブロ ッ クから D C
    [0596] 10 L K及び W C L Kがそれぞれディ ジー回路 1 7 1 に 入力され、 C S I信号の立ち上がり及び立ち下がり のタイ ミ ングを規定する。
    [0597] 第 3 1 A図は第 3 0図に示した帰還型階層ネッ ト ワーク のタイ ミ ングチャー トである。
    [0598] 15 D C L Kが立ち上がつている間だけ、 W C L Kは 発生し、 D C L Kが立ち上がつてからアナログ信号 が定常化し、 かつ重みデータがシリ アルに入ってき た後で、 ノ、'ラ レルに揃う前のタイ ミ ングでマスタコ ン ト ロールブロ ッ ク 1 8 1 力、らの C S 0 1 がデイ ジ
    [0599] 20 一面路 1 了 1 に入力され①に示すように立ち上がる, この時アナログ入力ポー ト 1 よりサンプル/ホール ド S / Hに保持されているアナログ信号はアナログ ス ィ ツ チ 1 Ί 5 を介してアナログバス B 1 に現れ、 A N P 1 , 2 , 3で積和演箕が行われる。 次の D C
    [0600] 25 L Kの入力で、 デイ ジ一面路 1 7 2への C S I が② に示すように立ち上がると、 アナログ入力ポー トか らの入力信号を保持しているサンプル Zホール ド回 路 Sノ Hの信号がアナログスィ ツチを介してアナ口 グバス B 1上に現れ、 AN P 1 , 2 , 3で 2回目の 積和演算が行われる。 さ らに次のタイ ミ ングで D C L Kが入力した後、 ③に示すようにマスタコ ン ト 口 —ルブロ ッ クよりダミー信号 D C Sが発生し、 AN P I , 2 , 3においては、 固定電圧に対する 3回目 の和が実行される。 次の S Y N C信号が立ち上がつ ている間に、 AN P 1 , 2 , 3の出力層の積和演算 が行われる。 重みメ モ リ へのァ ド レス 1 の信号のァ ドレスカウ ン ト禁止信号が立ち上がつている間だけ、 ァ ドレスカウ ンタをカ ウ ン トする W C L Kがイ ネ一 ブルされ、 ^れ以外の時には、 そのカウ ン トは抑止 される。 次に、 C S 0 2がマスタコ ン ト ロールブロ ックより A N P 1に与えられると、 AN P 1 は、 前 回の積和の結果をアナログバス B 2に出力し、 アナ ログ共通バス C Bを通してアナログバス B 1 に帰還 し、 ④で示すように再び A N P 1 , 2 , 3において 積和演算を行う。 C S 0 2が AN P 1 の内部のディ ジーチヱ一ン面路において、 所定遅延を加えられた 後、 AN P 2に⑤に示すように入力信号 C S I を加 え、 この時、 A N Pの出力信号がアナログバス B 2 に共通バス C B及びアナログバス A 1、 B 1を介し て再び A N P 1.に加えられ、 こ こで積和演算が行わ 1 れる。 同様に AN P 2からの C S 0.は所定時間遅ら せた後、 A N P 3 の C S I信号となり、 この C S I 信号が⑥に示すように立ち上がった時に A N P 3の 出力信号がアナログバス B 2 , 共通バス C B、 アナ
    [0601] 5 ログバス B 1 を介して再び A N P 1 , 2 , 3に帰還 されてこ こで積和演箕が行われる。 同様に⑦に示す ようにダミーノ 一 ドからの信号 D C Sの立ち上がり の際に再び、 固定電 Eに対して A N P 1 > 2 , 3 に より和の演箕が行われる。 そして、 次の C S 02の
    [0602] 10 信号の立上りで A N P 1 , 2から S /Hを介して出 力が⑧， ⑨に示すように生じる。 なお、 アナログ入 カボー ト 2からは出力されない。
    [0603] ここで①， ②， ③は AN P 1 , 2 , 3が中間層と して動作し、 ④， ⑤， ⑥は A N P 1 , 2 , 3が出力
    [0604] 15 層として動作する。 従ってこの実施例によれば、 A
    [0605] N P 1 , 2 > 3 の 1層のみの構成で階層型ネッ トヮ ークを構成できる。
    [0606] 第 3 2図は本発明にかかるアナログニューロコ ン ピュータをホ ップフ ィール ド型の帰還型ネ ッ トヮ一
    [0607] 20 クで構成した実施例であり、 第 3 3図はそのタィ ミ ングチャー トである。 マスタコ ン ト ロー レブロ ッ ク . 1 8 1 の、 メ モ リ · ア ドレス端子及びモー ド端子の 岀力が重みメ モ リ ブロ ッ ク 1 8 5に加えられ、 この 重みメ モリ ブロ ック 1 8 5 のデータ出力である B 1
    [0608] 25 0 は A N P 1 、 B レ1 は A N P 2、 B 1 2 は A N P 3 に接続される。 マスタコ ン ト ロ ールブロ ック 1 8 1 の C S 0 1 の端子からの出力信号は、 デイ ジ一回 路 1 Ί 1 、 ス ィ ツ チ 1 Ί 5 に加えられ、 こ の信号の 立ち上がりで、 アナログ入力ポー ト 1 からのサ ンプ ル /ホール ド回路 1 7 3 の出力をアナログバス B 1 に乗せる。 そしてディ ジー回路 1 7 1 で所定時間遅 延された後、 C S Oの出力が生じ、 これがディ ジー 回路 1 7 2 に C S I と して加えられてアナログ入力 ポー ト 2 に接続されたサ ンプルノホール ド回路 1 7 4 の信号をスィ ツチ 1 7 6 を介してアナログバス B 1 に乗せる。 同様にディ ジー回路 1 7 2 ' の出力信 号 C S Oがアナ口グ入力ポ一ト 3 に接続れたサ ンプ ル /ホール ド回路 1 7 4 ' の出力ス ィ ツ チ 1 7 6 ' を開いてその信号をアナログバス B 1 に乗せる。 A N P 1 では第 3 3図に示すよう に、 D C L K信号の 1 周期で 1 つの積和の演算を行い、 D C L K信号が ノ、ィ の時に重みク ロ ッ クを駆動し、 その重みク ロ ッ クに同期して入るディ ジタル重みデータ と、 アナ口 グ入力信号との掛け算を行い、 D C L Kの後半の口 ゥ信号の時に、 サ ンプルノホ一ル ド信号 S Hがハイ となり、 積分器のキャパシタにおいて、 和の動作を 行う。 すなわち C S 0 1 すなわちディ ジー回路 1 の C S I がハィ になつている期間①で、 バス B 1上の アナログ信号に対して A N P 1 , 2 , 3 は積和演算 を行う。 また、 マスタコ ン ト ロ ールブロ ッ ク 1 8 1 からの 0 C信号がハイ となると、 A N P 1 , 2 , 3 はオフセ ッ トキヤ ンセルを行い、 サンプル Ζホール ドして 1つの積和演算周期を終える。 次に第 2のデ イ ジ一回路 1 7 2の入力信号 C S Iがハイ②になる ので、 次のアナログ入力ポー トからの入力信号に対 し AN Ρ 1 , 2 , 3 は積和演算を行う。 そして、 そ の積和演算周期が終了した後に、 ディ ジー回路 1 7 2 ' に C S I信号が入り、 サンプル Zホールド面路 1 7 4 ' から出力信号が生じて、 ③で示すように第 3番目の積和演箕サイ クルに入る。
    [0609] - 次にマスタコ ン ト ロ ールブロ ック 1 8 1から C S 02信号④が生じて、 A N P 1から前面の積和サイ クルの時に形成されていた信号がアナログバス C B を介して帰還され、 その帰還された信号に対して、 AN P 1 , A N P 2 , A N P 3で積和演算を同時に 行う。 次に所定時間遅延した後、 AN P 1の C S 0 出力信号が⑤で A N P 2に加えられ、 ここでデイ ジ 一チヱーン的に前回の積和サイ クルの時に蓄えられ た信号を AN P 2が出力する。 この信号はアナログ バス C Bを介して帰還されて AN P 1 , AN P 2 , A P N 3で積和演算を⑤で駆動する。 そして同様に 所定時間遅延した後、 AN P 2の C S 0が⑥で AN P 3に加わえられ、 こ こで AN P 3からの出力をァ ナログバス C Bを介して帰還して、 A N P 1 , A P 2 , A P N 3において⑥で積和演算を行う。 帰還 型ネ ッ トワークにおいては、 第 3 3 A図及び第 3 3 B図に示すように、 3つの A N Pにおいて、 6つの 積和演算サイ クルを経て出力が、 それぞれサンプル /ホール ド回路 1 7 7、 1 7 8、 1 7 8 ' を介して アナログ出力ポー ト 0、 1、 2 へと出力される。 ま た、 サ ンプルノホール ド回路 1 Ί 7 , 1 7 8、 1 7 8 ' の出力信号がアナログマルチプレク サ 1 7 9で 選択出力されたものを A/Dコ ンバータ 1 8 0 を介 して M P U 1 8 2、 メ モ リ 1 8 2、 通信イ ンタ一フ ヱイ ス 1 8 4を舍むデジイ タル制御回路に与えられ る。 M P U 1 8 2で現時刻のニューロ ン出力状態と 前時刻のニューロ ン出力状態が同じになつたかどう かをチユ ッ クする。 同じになれば収束したものと判 定する。 このよ う に、 1 本の共通アナ ログバス C B を介して実行される。 帰還動作を繰り返してい く こ とによって安定解に到達すればこれを最終的な出力 とする。
    [0610] また、 第 3 4図に示す実施例は、 第 1 2図に開示 した実施例の階層ネ ッ トワークの一部に、 第 2 8図 に開示した帰還ネ ッ ト ワークを用いる実施例である。 第 3 5図は、 帰還型ネ ッ トワーク と階層型ネ ッ ト ワークを組み合わせたものの最適実施例である。 入 力層としてデイ ジ一面路が設けられ、 中間層には A N P 1 , 2 , 3が設けられる。 出力層には A N P 4 , 5が設けられる。 そして中間層の A N P 1 , 2 , 3 1 の出力はアナログバス B 2 と共通アナログバス C D を介してアナログバス B 1 に帰還される。 また、 ァ ナ口グパス B 1、 B 2 にはダミーノー ドとして働く マ ック スバリ ューノ ー ド画路 1 8 7が接続されてい
    [0611] 5 る。 そして、 出力層を構成する A N P 4 , 5 の出力 はサンプル /ホール ド回路 1 7 7 , 1 7 8 をそれぞ れ介してアナログ出力ポー ト 0及び 1 に出力される。 B 3 は出力層アナログバスである。
    [0612] 第 3 6図を用いて第 3 5図に示したニューラルネ
    [0613] 10 ッ トワーク の動作を説明する。
    [0614] まず、 D C L K及び W C L Kがマスタ コ ン ト ロー ルブロ ックからデイ ジ一回路 1 7 1及び A N P 1 , 2 , 3 , 4 , 5にそれぞれ入力される。 マスタコ ン トロールブロ ック 1 8 1から①に示すように C S 0
    [0615] 15 1が C S I として第 1 のディ ジー回路 1 Ί 1 に入力 されるとアナログ入力ポー ト 0からの信号がサンプ ルノホールド画路 1 7 3及びスイ ッチ 1 7 5を介し てアナログバス B 1 に生じ、 A N P 1 , 2 , 3 にお いて積和演算が S H 1及び C S 1 の制御で行われる <
    [0616] 20 次に、 C S 0 1が立下がった後、 所定時間経過後 に第 2 のデイ ジ一面路 1 7 2に入力される C S I 信 号が②に示すように立ち上がると、 アナログ入力ポ — ト 1 からの信号かサンプルノホ一ルド回路 1 7 4 及びスィ ツチ 1 7 6を介してアナログバス B 2によ
    [0617] 25 り中間層の A N P 1 , 2 , 3において、 S H 1 に示 すように積和演算が行われる。 同様に c s oが信号 が立ち下がった後、 所定時間経過後に③に示すよう に第 3 のデイ ジ一回路への C S I 信号が立ち上がる と、 中間層 A N P 1 , 2 , 3 で積和演算が行われる , そして、 中間層 A N P 1 , 2 , 3 の出力は C S 0 2 が④で示すように立ち上がって A N P 1 に加えられ ると、 アナ αグバス B 2 に出力されその出力は共通 アナログバス C Βを介してアナログバス Β 1 に帰還 されるので、 中間層の A Ν Ρ 1 , A N P 2 , A N P 3 においては再び積和演算が行われ S H 1 と 0 C 1 の制御で積和演算が行われると共に、 A N P 1 の出 力はアナログバス B 2上に生じているので、 A N P 4 , A N P 5 においても、 S H 2 と 0 C 2 の制御で 積和演箕が行われる。 すなわち、 この実施例におい ては、 中間層 A N P 1、 A N P 2 A N P 3 と出力 層 A N P 4 , A N P 5 において同時に積和演算が行 われる。
    [0618] 次に、 C S 0 2が立ち下がった後所定時間経過後 に中間層の A N P 2 に⑤に示すように C S I 信号を 入力されると A N P 2 の出力信号は A N P 2、 共通 バス C Bを介してアナログバス B 1 に帰還されるの で、 A N P 1 , 2 , 3 においては再び積和演算が行 われる と共に A N P 4 , 5 においても同時タイ ミ ン グで積和演算が行われる。
    [0619] さ らに、 ⑥で示すように C S I 信号が A N P 3 に 1 入力されると AN P 3 は出力信号をア ドレスバス B 1 に生じるので AN P 1 , 2 , 3及び出力層の AN P 4 , 5で同時に積和演箕が実行される。
    [0620] その次に、 マッ クスバリ ュ一ノード面路 1 8 7へ
    [0621] 5 ダミー信号 D S C I が⑦で与えられると、 アナログ バス Bに⑦に一定電圧が出力され、 この電圧.は共通 バス C B及びアナログバス B 1 を介して帰還され、 これに対して、 A N P 1 , 2 , 3で積和演算か行わ れる。 それと共に出力層 AN P 4 , 5でも積和演算
    [0622] 10 が 亍われる。
    [0623] S Y N C 1 は、 中間層で積和演箕される期間と中 藺層及び出力層で積和演算される期間にわたつてハ ィであり、 S Y N C 2 は中間層と出力層で積和演算 がされる間がハイである。 そして、 C S 0 3が出力
    [0624] 15 されると AN Ρ 4 は⑧のところで出力を生じ、 その
    [0625] C S 0 3信号が立ち下がつた後、 所定時間後に AN P 5 もまた出力を⑨のところで生ずる。
    [0626] なお、 ア ドレス 1及びイ ネーブル信号がロウであ る簡は W C L Kが抑止される。
    [0627] 20 第 3 7図に示す実施例は、 この第 1 2 IIの実施例 の階層ネ ッ トワークを更に簡単な構造とするための 実施例である。 この実施例では、 基本ュニッ ト 1 2 1 の個数を 1つで構成している。 1 つの基本ュニ ッ ト 1 2 1では、 第 1 2図の複数ある基本ュニッ ト 1
    [0628] 25 2 1 に係るデータを分離して保持できないので、 こ 1 の実施例を利用する場合には、 外部にこのためのメ モ リ手段を設けるよう構成するか、 あるいは、 内部 に複数の累算部 1 2 3 と複数の出力保持部 1 2 5 と を用意するとともに、 これらを選択するための機構 5 を設けるよう構成することになる。
    [0629] 非線型のデータ処理を実行する本発明のニュー α コ ンピュータには、 様々な利用分野がある。 例えば、 第 3 8図は、 多関節口ボッ トの適用制御装置に用い た応用例である。 この適用制御装置では、 関節角度
    [0630] 10 や角速度によって所要 トルクが動的に変化する多関 節ロボッ ト * アームに対して、 目標関節角度が指令 値として与えられた場合に、 所要 トルクを算出して フ ィード . フォ ヮ一ド制御を実現する こ とになる。 * すなわち、 与えられた角度指令値は、 角速度指令値
    [0631] 15 及び角加速度指令値とともに時分割で 1 段目の伝送 路に供給され、 上述したデータ転送処理より、 最終 段の出力層から制御指令 トルク として出力されるこ とになる。 また、 第 3 9図は、 排他論理和に用いた 応用例である。 すなわち、 1段目の伝送路に時分割
    [0632] 20 で入力 X , Υが与えられ、 それを並列に処理するこ とで演算結果が出力されるこ とになる。 このよう な 様々な利用分野があることから、 ニューロコ ンビュ ータをハー ドウェアと して実現できる本発明は、 極 めて大きな価値を有する ものと考えるのである。
    [0633] 25 階層型ネ ッ ト ワークにおける想起処理についてみ 1 ると、 予め 「物の名前」 とその物の 「形、 色、 昧」 といつた特徴量の対応関係をネ ッ トワークに学習さ せたとき、 ネッ トワークは、 「丸い、 赤い、 甘酸つ ぱい」 という情報から、 それは 「りんご」 であると
    [0634] 5 力、、 「丸い、 黄色い、 酸っぱい」 から 「 レモン」 と いうように、 自身が学習によって蓄えた情報をもと に 「物の名前」 を想起することができる。
    [0635] 帰還型ネ ッ トワークにおける連想処理についてみ ると、 予めネ ッ トワークに 「 A , B , C j の 3文字 0 の文字フォ ン トを学習させておけば、 そのネ ッ トヮ ークに汚された文字フォ ン トを入力しても画像情報 の復元及び捕間処理が行われ、 正しい文字が連想す ることができる。
    [0636] 以上からわかるように、 階層型 'ネ フ トワークでは、 15 複数の条件から、 ネッ トワーク内に重みの形で記憶 さている名前を選択するのに対し、 ホ ップフィール ド型ネッ トワークでは部分的な情報から全体を連想 できる。
    [0637] さ らに、 3層ネ ッ トワークの機能についてみると、 0 ネッ トワークへの入出力の情報が 2値 （論理値) で ある場合、 どのような論理画路も A N D、 O R , N 0 Tなる論理素子を最低 2段接続するれば実現でき、 ニューロ ン素子を用いてこれらの論理素子が実現で きることは、 マッカロー &ピッツの形式ニューロ ン ゥ ς モデル力、らレ、える。 1 ネ ッ ト ワークへの入出力の情報が連続値である場 合、 ニューロ ンへの重みを変える こ とで、 結果的に 非線形関数 （ジクモイ ド関数） の縦 · 横を拡大 · 縮 小し、 かつス レシュホール ド値を与える こ とによつ 5 て平行移動を行って、 所望の関数を近似するのに必 要となるさまざまな基本関数を表現する こ とができ る。 従って 1 , 2層間の重みを適当に設定して、 さ まざまな基本関数を用意し、 2 , 3 層間の重みを利 用 して基本関数を重ね合わせる こ とによ っていろい
    [0638] 10 ろな関数を作り だすこ とが、 3 層以上のネ ッ ト ヮー クで可能となる。
    [0639] 本発明によれば、 n個のニュー□チ ッ プからなる 前段層と m個の複数のニューロチ ッ プからなる後段 の層を考える とき、 従来は配線数が n m個になるの
    [0640] 15 に、 本発明の実施例によれば、 アナ ログバス 1 本に する こ とができるので配線数を大幅に減少させる こ とができ、 また、 n個のニューロチ ッ プからなる層 に入力アナログ信号を入力する際に、 放送方式と同 様にアナログバスを介して同時に入力でき るので、
    [0641] 20 1 層内の n個のニューロチ ッ プが並列演算ができ る c さ らに、 各層についてもパイ プラ イ ン処理が行われ るので、 演算速度を高速にでき る。
    [0642] また、 ニューロチ ップをアナログ回路で構成して いるので、 回路の規模が小さ く てすみ、 このため電 25 力も小さ く てすむので、 多数のニューロチ ッ プによ りニューロ コ ン ピュータを構成するこができる。 さ らに、 ニュー πチップの数を増やすことはマスタコ ン ト ロールブロ ッ ク内の制御パターンメ モ リ に格納 されて制御パター ンをかえることにより容易に行え る。
    [0643] 10
    [0644] 15
    [0645] 20
    [0646] 25
    权利要求:
    Claims
    請 求 の 範 囲
    1 ) 前段層からの複数の入力と、 これらの入力に 対して乗算されるべき重みとを受け取って積和を得 るとともに、 こ の得られた積和値を非線形関数によ つて変換して最終出力を得る基本ュニ ッ ト （ 1 1 ) を基本単 1 とし、
    入力層と最前段の中間層との間、 中間層相互間及 び最終段の中間層と出力層との間で内部結合を構成 する とともに、 こ の内部結合に対応して上記重みが
    10 設定されるこ とで、 階層ネ ッ トワークを構成するネ ッ ト ワーク構成データ処理装置であって、
    上記基本ュニッ ト （ 1 1 ) の入出力を'アナログ信 号をもって実現するとともに、 こ のアナログ信号の 転送を実現するために、 入力層と最前段の中間層と
    15 の間、 中間層相互間及び最後段の中間層と出力層と の間の電気的な接続をそれぞれアナログバス （ B 1 , B 2 ) をもって構成し、
    そして、 前段層の上記基本ュニッ ト （ 1 1 ) を時 系列的に順次選択するよう構成する とともに、 この
    20 ようにして選択される上記基本ュニッ ト （ 1 1 ) 力く、 上記アナログバス （ B 1 , B 2 ) を介して、 後段層 の上記基本ュニッ ト （ 1 1 ) に対して、 自 らの最終 出力値を時分割の送信形式に従って出力するよう処 理してなることを特徴とするネ ッ トワーク構成デ一
    25 タ処理装置。 2 ) 複数の入力と、 この入力に対して乗箕される べき重みとを受け取って積和を得るとともに、 この 得られた積和値を非線形関数によって変換して最終 出力を得る基本ュニッ ト （ 1 1 ) を基本単位とし、 複数個の上記基本ュニッ ト （ 1 1 ) をもって処理 層とするとともに、 この処理層の各基本ュニッ ト ( 1 1 ) の最終岀カを処理層のすべての基本ュニッ ト （ 1 1 ) の入力に帰還することで、 等価的に複数 の処理層からなる階層ネッ トワークを構成するネッ
    10 トワーク構成データ処理装置であって、
    上記基本ュニッ ト （ 1 1 ) の入出力をアナログ信 号をもって実現するとともに、 このアナログ信号の 転送を実現するために、 上記処理層の基本ュニッ ト
    ( 1 1 ) の帰還ラ イ ンを ナログバス （ C B ) をも
    15 つて構成し、
    そして、 上記処理層の基本ュニッ ト （ 1 1 ) を時 系列的に順次選択するよう構成するとともに、 この ようにして選択される上記基本ュニ 'ン ト （ 1 1 ) が、 上記アナログバス （ C B ) を介して、 上記処理層の
    20 基本ユニッ ト （ 1 1 ) に対して、 自 らの最終出力値 を時分割の送信形式に従って出力するよう処理して なることを特徴とするネッ トワーク構成データ処理
    3 ) 請求の範囲 1記載のネ ッ トワーク構成データ
    25 処理装置において、 入力層、 一部若し く はすべての中間層または出力 層、 あるいはそれらの組み合わせの態様で、 2記載 のネ ッ ト ワーク構成データ処理装置を用いて構成し てなる こ とを特徵とするネ ッ ト ワーク構成データ処
    4 ) 第 1 のアナログバスからアナ ログ信号を時 割で入力しディ ジタ ル重みデータを用いて積和演算 を実行してアナ ログ信号を第 2 のアナログバスに出 力するアナログニューロチ ッ プの集合からなるニュ
    10 ーラノレネ ッ ト （ 1 8 ) と、
    前記ニューラルネ ッ ト （ 1 8 ) の制御信号のバタ ーンを格納する制御パターンメ モ リ （ 1 2 ) と、 該制御パター ンメ モ リ （ 1 2 ) のア ド レスを発生 する シーケ ンサ （ 1 3 ) と、 重みデータを格納する 15 重みメ モ リ （ 1 4 ) と、
    前記ニューラ ルネ ッ ト （ 1 8 ) と制御パター ンメ モ リ （ 1 2 ) とシーケ ンサ （ 1 3 ) と、
    重みメ モ リ （ 1 4 ) との全体を制御するディ ジタ ル制御手段 （ 1 5 ) とより なる こ とを特徴する二ュ 20 一口 コ ン ピュータ。
    5 ) アナログ信号と、 シ リ アル重みデータ との乗 算を行う乗算部 （ 2 2 ) と、
    該乗算部 （ 2 2 ) の出力信号を、 時分割入力され るアナ ログ信号に対応して加箕する加箕部 （ 2 3 )
    25 と-、 1 前記加箕部 （ 2 3 ) のコ ンデンサに信号を充電す る時間を可変にする加箕時間制御手段と、
    該加箕部 （ 2 3 ) に接続するサンプル/ /ホールド 手段 （ 2 4 ) と、
    5 該サンプル /ホールド手段 （ 2 4 ) の出力信号を 入力する非線形面路 （ 2 5 ) と、
    該非線形回路 （ 2 5 ) の岀カ信号をアナ口グ時分 割信号として出力する出力部 （ 2 6 ) とを有するこ とを特徵とするアナログニューロチップ。
    10 6 ) アナログ入力信号を入力する入力側面路 （ 1
    2 0 ) と、
    該入力側回路 （ 1 2 0 ) の出力に接続された入力 層アナログバス （ 1 4 0 a ) と、
    前記入力層ァナログバス （ 1 4 0 a ) にアナログ 15 ニューロ ンプロセ ッサ （ 1 2 1 — h ) を並列に接続 して構成する第 1 の中間層と、
    該第 1 の中間層の出力が接続された中間層用アナ ログバス （ 1 4 0 b ) と、
    該中間層用アナログバス （ 1 4 0 b ) にアナログ 20 ニューロ ンプロセ ッサ （ 1 2 1 — i ) が並列に接鐃 された第 2 の中間層と、
    該中間層のアナログニューロ ンプロセ ッサ （ 1 2 1 - i ) が接続された次の中間層用アナログバス ( 1 4 0 c ) と、
    25 前記入力層用アナログバス上に生じる時分割ァナ nグ信号を入力して順次積和演算を行う ように中間 層のアナログニューロ ンプロセ ッサ （ 1 2 1 - h ) を行わさせるように制御する手段 （ 1 5 0 ) と、 前記中間層用アナ αグバス上に生じる時分割アナ 口グ信号を入力して順次積和演箕を行うよう に次の 中間層のアナログニューロ ンプロセ ッサ （ 1 2 1 — i ) を制御する手段 （ 1 5 0 ) と、
    前記次の中間層用アナログバス上に生じる時分割 アナログ信号を出力する手段 （ 1 2 1 — j ) とから なるこ とを特徴とするアナログニューロコ ンピュー タ システム。
    7 ) 第 1 のアナログバスからアナログ信号を時分 割で入力しディ ジタル重みデータを用いて積和演算 を実行してアナログ信号を第 2 のアナログバスに出 力することを特徴とするニューロ ンュニ ッ ト。
    8 ) 前記積和演算は D Z A変換器の基準電圧端子 にアナログ入力信号を入力し、 ディ ジタル入力端子 にディ ジタル重みデータを入力することを特徴とす る請求の範囲第 7項記載のニューロ ンュニ ッ ト。 9 ) 第 1 のアナログバスからアナログ信号を時分 割で入力しディ ジタル重みデータを用いて積和演算 を実行して該積和演算の結果を非線形関数回路を通 してアナログ信号を第 2 のアナログバスに出力する ことを特徴とするニューロ ンュニッ ト。
    10) 前記非線形関数癸生手段は、 電流切換回路の コ レク タにカ レン ト ミ ラー回路を接続し、 ェ ミ ッタ 側にエ ミ ッタ抵抗と定電流面路を接繞してなる増幅 段を複数段設けこの増幅段のコ レク タ出力を出力抵 抗の一端に接続し、 各段において前記ヱ ミ ッタ抵抗
    5 と出力抵抗の比によって非線形閬数の各区分線形を 限定する こ とにより非線形関数を形成することを特 徵とする請求の範囲第 9項記載のニューロコ ンビュ ータ。
    11 ) アナ口グ信号を受信する第 1 のアナ口グバス
    10 と、
    該第 1 のアナログバスに接続され第 1 のアナログ バスからの入力信号と重みデータ とに対して積和演 算を行うアナログニューロ ンプロセ サと、
    該アナログニュ'一 π ンプロセッサに接繞された第
    15 2 のアナログバスと、 前記重みデータを記憶する重 みメ モリ と、 前記第 1 のアナログバスの特定の時間 区域のアナログ信号を前記アナログニューロ ンプロ セ ッサに入力し、 アナログ入力信号と前記重みデー タとの積を演算し、 この積を前の時間区域に得られ
    20 る積和に加寘してその結果として得られるアナログ 信号を前記第 2 のアナ口グバス上の特定の時間区域 に出力するように制御する制御手段とを有すること を特徴とするニューロコ ンピュータ。
    12 ) 前記制御手段はァナログニ ュー ロ ンプロセ ソ
    25 サを制御するマスタコ ン トロールブロ ックからなり、 該マスタ コ ン ト ロールブロ ッ ク は前記アナ ロ グ二 ユーロ ンプロセ ッサの制御信号の制御パター ンを発 生する制御パターンメ モ リ と、
    その制御パタ ー ンメ モ リ のァ ド レスの シーケ ンス を制御する シーケ ンサ と、 該シーケ ンサの シーケ ン スを制御する命令を格納するマイ ク 口コ一ドメ モ リ と、
    前記シーケ ンサに接続され前記重みメ モ リ のァ ド レスを制御するァ ド レス制御手段と、 外部のディ ジ タル制御手段に接続するイ ンタ フ ユ イ ス手段とを具 備し、
    特定な時間区域に 1 個のアナログニューロ ンプ σ セ ッ サにアナログバスの使用権を割り振るこ とを特 徴とする請求の範囲第 11項記載のニュ一口 コ ン ビュ ータ。
    13) 前記制御パター ンメ モ リ は、 第 1 と第 2 の制 御パターンメ モ リ からなり、 前記第 1 の制御パター ンメ モ リ は、 A Ν Ρを制御する制御信号に対応する 制御パター ンを格納し、 前記第 2 の制御パター ンメ モ リ には前記第 1 の制御パターンメ モ リ への先頭ァ ド レスを少な く とも有することを特徴とする請求の 範囲第 12項記載の二ユーロコ ン ピュータ。
    14 ) 前記制御パターンメ モ リ は、 第 1 と第 2 の制 御パタ ー ンメ モ リ からな り 、 前記第 1 の制御パタ一 ンメ モ リ には、 A N Pを制御する制御信号に対応す る制御パターンを格納し、 前記第 2 の制櫛パターン メ モ リ には前記パターンメ モ リ への先頭ァ ドレスと、 オ リ ジナルパターンの繰り返し数を有することを特 徴とする請求の範囲第 12項記載のニューロコ ンビュ
    5 ータ。
    15) 前記第 1 の制御パターンメ モ リ のオ リ ジナル パターンは、 A N P のアナログ信号処理を行うため 前記メ モ リ の読み出しタイ ミ ングを与えるデータク ロ ック D C L Kと重みク π .ンク W C L Kと、 各層に
    10 おけるアナ口グ信号のサンプル/ホールドを行う S
    / H信号と、 A N P内部のオフセ ッ ト コ ン ト ロール 信号と、 C S I、 C S 0信号と、 各層内の動作時間 を規定する同期信号 S Y N Cと、 リ セ ッ ト信号とダ ミーノ ー ドのィ ネーブル信号のう ち少なく とも 1 つ
    15 を格納することを特徴とする請求の範囲第 14項記載 のニューロコ ンビュータ
    16) 前記マイ ク ロコー ドメ モリ には、 前記ォ リ ジ ナルパターンを繰り返すリ ピー ト命令と各ォリ ジナ ルパターンの先頭ァ ドレスを指定する命令を有する
    20 ことを特徴とする請求の範西第 12項記載のニューロ コ ンピュータ。
    17 ) 前記制御パターンメ モ リ 力、らォリ ジナルパタ ーンのビッ ト幅方向のデ一タがァ ドレスの更新によ り同時に読み出されることを特徵とする請求の範囲
    25 第 12項記載の二ユーロコ ンピュータ e 1 18 ) 前記マスタ コ ン ト ロールブロ ッ ク は重みメ モ リ のァ ド レスをカ ウ ン トするァ ド レスカウ ンタを有 し、
    前記ァ ド レスカ ウ ンタ は重みク ロ ッ ク W C L Kに 5 よ ってカ ウ ン ト され、 前記シーケ ンサからカ ウ ン ト 制御信号によってカ ウ ン ト動作のイ ネ一ブルを行い シーケ ンサからカ ウ ンタ リ セ ッ ト によ り重みメ モ リ の重みデータの格納されている先頭ァ ド レスにもど るよう に制御する こ とを特徵とする請求の範囲第 120 項記載の二ユーロコ ン ピュ一タ。
    19 ) 前記マスタ コ ン ト ロールブロ ッ ク は前記制御 ノ、'ター ンメ モ リ の内容及びマイ ク ロ コ ー ドメ モ リ の 内容が、 外部イ ンタ フ イ ス回路を介して M P U側 からのデータ と して与え られる場合、 M P Uからの5 上位ア ド レスをデコー ド してタ イ ミ ング回路で形成 される適当なタ イ ミ ングシーケ ンスデータのラ ッ チ 信号を入力し、 前記ラ ッチ信号によ って、 下位ァ ド レス とデータをラ ッ チ し、 下位ア ド レスで指定され たマイ ク ロコー ドメ モ リ 及び制御パター ンメ モ リ の0 ア ドレスに制御パター ンを格納する こ とを特徴とす る請求の範囲第 12項記載のニューロ コ ン ピュータ。
    20 ) 前記重みメ モ リ は、 1 つのメ モ リ デバイ ス力、 ら複数の A N Pへビッ ト幅方向に並列化して同時に 重みデータを供給する こ とを特徴とする第 11項記載 のニ ュ ー ロ コ ン ピュータ。 21) 前記重みメ モリ は、 重みデータ格納手段と M
    P Uに接繞された双方向バッファ と、 第 1のモード ではマスコ ン ト ロ一ルブロ ッ クからのァ ドレスを選 択して重みメ モリ の出力を AN Pに送 {言する前記マ スタコ ン ト ロールブロ ッ クから く るア ドレスと MP Uから く るァ ドレスを選択する選択手段と、 第 2の モー ドでは重みメ モ リ を MP Uからのァ ドレスで参 照して M P Uと重みメ モ リ の間でデータの送受信す ることを特徴とする請求の範面第 11項記載のニュー 口コ ンピュータ。
    22) 前記第 1及び第 2のアナ口グバス間に少な く とも第 1、 第 2の AN Pが接続され、
    第 1の A N Pに C S I信号を加えたときに、 アナ • ログバス'に出力信号を生じ、 所定時間経過後に、 第 2の A N Pに C S I信号を加えて前記アナログバス に出力信号を生じるように制御する制御面路を有す ることを特徴とする請求の範囲第 11項記載のニュー ロコ ンピュータ。
    23) 前記第 1、 第 2のアナ口グバス間に少な く と も第 1、 第 2の AN Pが接続され、 第 1 の AN Pの
    C S I信号を特定時間遅らせることにより C S O信 号を生じ、 この C S O信号を第 2の AN Pの C S I 信号として第 2の A N Pから出力をアナログバスに 生じるディ ジー回路を有することを特徵とする請求 項 11記載のニューロコ ンピュータ。 24) 前記ディ ジー回路は、 C S I 信号を入力して C S Oを出力する F F と C S I の終了のエ ッ ジから 所定遅延量を W C L Kのパルスのカウ ン ト数に基づ いて C S Oの出力タイ ミ ングを決定するカ ウ ンタ手 段とからなることを特徵とする請求の範囲第 23項記 載のニューロコ ン ピュ一タ。
    25) 第 1 のデイ ジ一回路からの C S I 信号を特定 時間遅らせる こ とによ り C S 0信号を生じ、 こ の C S O信号を第 2 のデイ ジ一回路の C S I 信号として 第 2 のデイ ジ一回路の制御により出力をアナログバ スに生じることを特徵とする請求の範囲第 11項記載 のニューロ コ ンピュータ。
    26) 前記デイ ジ一回路より入力層を構成すること を特徴とする請求の範囲第 15項記載のニューロコ ン ピュータ。
    27) 複数のディ ジーチヱ一ン動作を行う A Pか らなる第 1層の 1 つの A N Pに対して、 主制御面路 より C S I 信号を加え所定時間後に C S 0信号を発 生し、 こ の C S O信号を隣接する A N Pの C S I 信 号とするディ ジーチヱ一ン動作を 1層内の複数の A N Pに対して順次行い、 第 1 の層の A N Pについて ディ ジ一チヱーン動作の終了後、 次の層の A N Pに ついて、 前記ディ ジ一チヱー ン動作を開始すること を特徴とする請求項 11記載のニュー πコ ンピュー夕。 28) 前記アナログバスに所定電圧を発生する手段 を設け、 この手段はそのイ ネ一ブル信号を主制御画 路より特定時間にイ ネ一ブルすることによって特定 時間前記所定電圧を発生するダミーノー ドを構成す るマ ッ クスバリ ユーノ 一 ド回路であることを特徴と する請求の範囲第 11項記載のニューロコ ンピュータ。
    29) 前記所定電圧発生手段は、 非線形関数回路の 閾値に対応する電圧であることを特徴とする請求の 範囲第 28項記載の二ユーロ コ ンピュータ。
    30 ) 前記所定電圧発生手段はテス ト時に 0電圧と して、 シーケ ンスのテス トを行う ことを特徴とする 請求の範囲第 28項記載のニューロ コ ンピュータ。
    31) 前記所定電圧発生手段ば各ァナ口グバスに接 続され、 対象の A N Pにダミー信号を発生するダミ 一ノ ー ドであり、 このダミーノ ー ドを舍めて、 ディ ジーチ ーン動作を行う ことを特徴とする請求の範 囲第 28項記載の二ユーロコ ンピュータ。
    32 ) 前記マ ッ ク スバリ ューノ ード画路ば固定電圧 を発生する手段と、
    前記固定電圧をマスタ コ ン ト ロールブロ ックから のィ ネーブル信号によってダミーノー ド出力に送信 するメ モ リ制御手段とを有することを特徵とする請 求の範囲第 28項記載のニューロコ ンピュータ。
    33 ) アナ αグ入力信号に積和演算を施して信号と してアナ口グ出力信号を生じるアナ Qグ回路部分と、 · 前記アナログ面路部分を制御するデ ィ ジタル面路部 l 分と力、らなるニューロ ンユニッ ト と、
    該ディ ジタル面路部はマスタ コ ン ト ロールプロ ッ クからの制御信号を A NP 内スィ ッチング制御信号 に変換する シーケ ンスジェネ レータ と、
    前記アナログ回路に含まれるスィ ツチ素子のスィ
    'ンチングを制御する制御信号の位相を制御する位相 制御回路と、
    重みメ モ リ から与え られる シリ アル重みディ ジー をパラ レルデータに変換する シフ ト レジスタ手段と0 よりなることを特徴とするニューロコ ンピュータ。
    34) 前記シーケ ンスジェネ レータはリ セ ッ ト信号 を入力し、 積分器のキャパシタの電荷を放電する C R S T信号と
    同期信号 S Y N Cと D C L K , W C L K , W Dを 5 入力し、
    サ ンプル/ホール ド回路と、 シフ ト レジスタのパ ラ レルァゥ 卜のイ ネ一ブル信号と、 符号ビッ ト のィ ネーブル信号と、 内部ク ロ ッ ク C L Kと、 重みデー タ と、 シフ ト用ク ロ ッ ク、 非線形関数を通過するか どうかを選択する選択制御信号と、 ディ ジーチエ一 ン用の C S O信号とを少な く とも発生することを特 徴とする請求の範囲第 33項記載のニューロコ ンビュ ータ。
    35) 前記位相制御手段は逆相信号と正相信号を遅 延する第 1 , 第 2 の遅延手段と-、 1 4
    1 遅延手段の出力を他方の遅延手段の入力にフィ一
    ドバックする手段とからなり、 前記 2 つの出力信号 が正相と逆栢であってこれらによって制御されるス ィ ッチが同時にォンとならないように位相制御を行
    5 う ことを特徵とする請求の範西第 33項記載のニュー ロコ ンピュ一タ。
    36 ) 前記シフ ト レジスタは、 コ ン ト ロール信号に よってイ ネ一ブルされ、 W C L Kから形成されるク ロ ッ クによって重みデータをビッ ト シ リ アルにシリ
    10 アルイ ン した後、 W R信号によってイ ネ一ブルして パラ レル出力することを特徴とする請求の範囲第 33 項記載のニューロコ ンピュータ。
    37) 入力層と、
    ' A N Pからなる少な く とも 1 つの中間層 A N P と 15 少な く とも 1 つの出力層から階層型ネッ トワークを 構成することを特徴とするニューロ コ ン ピュータ。
    38 ) 複数の A N Pからなる層の出力信号をアナ口 グバスを介して入力側に帰還することにより一層を 時分割多重使用ことによりにより階層型のネッ トヮ
    20 ークを構成するニューロコ ンピュータ。
    39 ) 複数の A N Pからなる層の出力信号が定常状 態になるまで帰還勣作を操り返して帰還型ネ ッ トヮ ークを構成することを特徴とするニューロ コ ンビュ 一
    25 40) A N Pによ り階層型ニューラ ルネ ッ ト ワーク と帰還型ニューラルネ ッ トワーク とを組み合わせて ニューラルネ ツ トワークを構成する ことを特徵とす る ニュ一ロ コ ン ピュータ。
    10
    15
    20
    25
    类似技术:
    公开号 | 公开日 | 专利标题
    US10521714B2|2019-12-31|Multi-compartment neurons with neural cores
    US10095718B2|2018-10-09|Method and apparatus for constructing a dynamic adaptive neural network array |
    Pei et al.2019|Towards artificial general intelligence with hybrid Tianjic chip architecture
    US10140571B2|2018-11-27|Hierarchical scalable neuromorphic synaptronic system for synaptic and structural plasticity
    US8856055B2|2014-10-07|Reconfigurable and customizable general-purpose circuits for neural networks
    Thakur et al.2018|Large-scale neuromorphic spiking array processors: A quest to mimic the brain
    US20140188771A1|2014-07-03|Neuromorphic and synaptronic spiking neural network crossbar circuits with synaptic weights learned using a one-to-one correspondence with a simulation
    JP3260357B2|2002-02-25|情報処理装置
    US10216703B2|2019-02-26|Analog co-processor
    US4807168A|1989-02-21|Hybrid analog-digital associative neural network
    JP3210319B2|2001-09-17|ニューロチップおよびそのチップを用いたニューロコンピュータ
    US9697462B1|2017-07-04|Synaptic time multiplexing
    US9342780B2|2016-05-17|Systems and methods for modeling binary synapses
    KR20180028966A|2018-03-19|신경망 하드웨어 가속기 아키텍처 및 그 동작 방법
    US5544336A|1996-08-06|Parallel data processing system which efficiently performs matrix and neurocomputer operations, in a negligible data transmission time
    TWI515670B|2016-01-01|用以強化學習之裝置、系統及電腦程式產品
    US9466362B2|2016-10-11|Resistive cross-point architecture for robust data representation with arbitrary precision
    DE4042139C2|2000-10-12|Neuron-Einheit
    KR20130090147A|2013-08-13|신경망 컴퓨팅 장치 및 시스템과 그 방법
    US4972363A|1990-11-20|Neural network using stochastic processing
    US5506998A|1996-04-09|Parallel data processing system using a plurality of processing elements to process data and a plurality of trays connected to some of the processing elements to store and transfer data
    Harkin et al.2009|A reconfigurable and biologically inspired paradigm for computation using network-on-chip and spiking neural networks
    EP0378115A2|1990-07-18|Neural computer
    US5089983A|1992-02-18|Charge domain vector-matrix product processing system
    US5008833A|1991-04-16|Parallel optoelectronic neural network processors
    同族专利:
    公开号 | 公开日
    AU3187089A|1990-03-23|
    EP0400147B1|1997-10-15|
    FI902081A0|1990-04-25|
    KR900702473A|1990-12-07|
    US5131072A|1992-07-14|
    DE68928385T2|1998-02-12|
    EP0400147A4|1993-01-27|
    DE68928385D1|1997-11-20|
    KR940001173B1|1994-02-16|
    FI902081D0||
    EP0400147A1|1990-12-05|
    AU633812B2|1993-02-11|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    JPS62295188A|1986-04-14|1987-12-22|American Telephone & Telegraph|Signal parallel processing network|
    JPH05121749A|1991-10-25|1993-05-18|Mitsubishi Electric Corp|電気的に書込みおよび消去可能な半導体記憶装置およびその製造方法|JP2016051351A|2014-08-29|2016-04-11|株式会社日立製作所|半導体装置|US3950733A|1974-06-06|1976-04-13|Nestor Associates|Information processing system|
    US4660166A|1985-01-22|1987-04-21|Bell Telephone Laboratories, Incorporated|Electronic network for collective decision based on large number of connections between signals|
    WO1988010474A1|1987-06-18|1988-12-29|University Of West Virginia|State analog neural network and method of implementing same|
    AU624422B2|1988-09-12|1992-06-11|Fujitsu Limited|A learning process system for a neural network|
    US4906865A|1988-12-09|1990-03-06|Intel Corporation|Sample and hold circuit for temporal associations in a neural network|
    US4974169A|1989-01-18|1990-11-27|Grumman Aerospace Corporation|Neural network with memory cycling|AU624422B2|1988-09-12|1992-06-11|Fujitsu Limited|A learning process system for a neural network|
    US5214743A|1989-10-25|1993-05-25|Hitachi, Ltd.|Information processing apparatus|
    EP0385436B1|1989-02-28|1996-05-01|Fujitsu Limited|An error absorbing system in a neuron computer|
    JP2533942B2|1989-03-13|1996-09-11|株式会社日立製作所|知識抽出方法およびプロセス運転支援システム|
    WO1991019267A1|1990-06-06|1991-12-12|Hughes Aircraft Company|Neural network processor|
    JP2763182B2|1990-06-28|1998-06-11|株式会社東芝|ニューラル・ネットワークの学習方法|
    JP2785155B2|1990-09-10|1998-08-13|富士通株式会社|ニューロコンピュータの非同期制御方式|
    US5963930A|1991-06-26|1999-10-05|Ricoh Company Ltd.|Apparatus and method for enhancing transfer function non-linearities in pulse frequency encoded neurons|
    DE69231481T2|1991-07-10|2001-02-08|Fujitsu Ltd|Bilderzeugungsgerät|
    FR2685109A1|1991-12-11|1993-06-18|Philips Electronique Lab|Processeur numerique neuronal operant avec une approximation d'une fonction d'activation non lineaire.|
    US5274748A|1991-12-27|1993-12-28|At&T Bell Laboratories|Electronic synapse circuit for artificial neural network|
    US5278945A|1992-01-10|1994-01-11|American Neuralogical, Inc.|Neural processor apparatus|
    FR2690772A1|1992-04-29|1993-11-05|Philips Electronique Lab|Processeur neuronal muni de moyens pour calculer une norme ou une distance.|
    US5404556A|1992-06-15|1995-04-04|California Institute Of Technology|Apparatus for carrying out asynchronous communication among integrated circuits|
    US5355436A|1992-10-05|1994-10-11|The Research Foundation, State University Of New York At Buffalo|Single layer neural network circuit for performing linearly separable and non-linearly separable logical operations|
    JPH06195322A|1992-10-29|1994-07-15|Hitachi Ltd|汎用型ニューロコンピュータとして用いられる情報処理装置|
    JPH06266868A|1992-12-24|1994-09-22|Olympus Optical Co Ltd|ニューロン素子|
    US5473730A|1993-11-09|1995-12-05|At&T Ipm Corp.|High efficiency learning network|
    US6377941B1|1998-11-26|2002-04-23|International Business Machines Corporation|Implementing automatic learning according to the K nearest neighbor mode in artificial neural networks|
    US6269354B1|1998-11-30|2001-07-31|David W. Arathorn|General purpose recognition e-circuits capable of translation-tolerant recognition, scene segmentation and attention shift, and their application to machine vision|
    FI112884B|2000-05-22|2004-01-30|Ari Paasio|Kuvan käsittely rinnakkaisprosessoriverkossa, sekä siihen soveltuva verkko ja solu|
    US6681163B2|2001-10-04|2004-01-20|Gentex Corporation|Moisture sensor and windshield fog detector|
    KR100656523B1|2005-07-27|2006-12-11|삼성전자주식회사|인체의 움직임을 이용한 시스템 및 그 방법|
    US10275393B2|2015-10-08|2019-04-30|Via Alliance Semiconductor Co., Ltd.|Tri-configuration neural network unit|
    US10636484B2|2018-09-12|2020-04-28|Winbond Electronics Corporation|Circuit and method for memory operation|
    WO2020126692A1|2018-12-19|2020-06-25|Ams Ag|Implementing a multi-layer neural network using a single physical layer of analog neurons|
    法律状态:
    1990-03-08| AK| Designated states|Kind code of ref document: A1 Designated state(s): AU FI JP KR US |
    1990-03-08| AL| Designated countries for regional patents|Kind code of ref document: A1 Designated state(s): AT BE CH DE FR GB IT LU NL SE |
    1990-04-25| WWE| Wipo information: entry into national phase|Ref document number: 902081 Country of ref document: FI |
    1990-04-26| WWE| Wipo information: entry into national phase|Ref document number: 1989902817 Country of ref document: EP |
    1990-12-05| WWP| Wipo information: published in national office|Ref document number: 1989902817 Country of ref document: EP |
    1997-10-15| WWG| Wipo information: grant in national office|Ref document number: 1989902817 Country of ref document: EP |
    优先权:
    申请号 | 申请日 | 专利标题
    JP63/216865||1988-08-31||
    JP21686588||1988-08-31||EP89902817A| EP0400147B1|1988-08-31|1989-02-23|Neurocomputer|
    KR9070894A| KR940001173B1|1988-08-31|1989-02-23|뉴로 컴퓨터|
    DE68928385T| DE68928385T2|1988-08-31|1989-02-23|Neuronenrechner|
    FI902081A| FI902081A0|1988-08-31|1990-04-25|Neurodator.|
    [返回顶部]